三大AI模型文本总结能力Python实现对比

1. 三大AI模型文本总结能力横向评测

作为一名长期使用Python进行AI应用开发的工程师，我最近对主流大语言模型的文本总结能力做了一次系统性测试。测试对象包括ChatGPT、通义千问和讯飞星火三大模型，通过它们的官方API接口，用Python编写了完整的测试脚本。这个测试特别适合需要处理大量文本内容的开发者、数据分析师和内容运营人员。

测试选取了三种典型文本类型：科技类新闻资讯、Python技术文档片段和季度销售报告。这三种文本分别代表了日常工作中最常见的非结构化文本、技术性内容和结构化数据报告。通过标准化测试，我们可以直观比较不同模型在文本总结任务上的表现差异。

2. 测试环境与API准备

2.1 基础环境配置

测试使用的Python版本为3.9.12，建议使用Anaconda管理环境。核心依赖库只需要安装openai和requests两个包：

bash复制pip install openai requests

openai库用于调用ChatGPT的API，requests库则用于通义千问和讯飞星火的HTTP接口调用。这两个库都是Python生态中最常用的HTTP客户端库，兼容性良好。

注意：如果遇到SSL证书问题，可以尝试在Python中执行以下代码修复：

python复制import certifi
import os
os.environ['REQUESTS_CA_BUNDLE'] = certifi.where()

2.2 API密钥申请指南

三大模型的API申请方式和免费额度差异较大，下面是详细对比：

在实际申请过程中，我发现通义千问的注册流程最为简单，只需要阿里云账号即可。讯飞星火需要企业邮箱认证，个人开发者建议使用公司邮箱注册。ChatGPT的API访问需要解决网络环境问题，这对国内开发者是个门槛。

3. 核心代码实现解析

3.1 ChatGPT调用实现

ChatGPT的API调用最为简洁，使用官方openai库只需几行代码：

python复制def call_chatgpt(text):
    openai.api_key = "你的API密钥"
    try:
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[
                {"role": "user", "content": f"请总结以下文本核心内容，要求：1. 不超过200字；2. 保留关键数据和核心结论；3. 语言简洁易懂。文本：{text}"}
            ],
            temperature=0.3,
            max_tokens=200
        )
        return response.choices[0].message.content.strip()
    except Exception as e:
        return f"调用失败：{str(e)}"

关键参数说明：

• temperature=0.3：降低随机性，确保总结结果稳定
• max_tokens=200：限制输出长度，避免冗余
• model="gpt-3.5-turbo"：性价比最高的模型，也可使用16k版本处理长文本

3.2 通义千问调用实现

通义千问使用标准的REST API，需要构造HTTP请求：

python复制def call_qwen(text):
    url = "https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation"
    headers = {
        "Authorization": f"Bearer {DASHSCOPE_API_KEY}",
        "Content-Type": "application/json"
    }
    data = {
        "model": "qwen-turbo",
        "input": {
            "messages": [
                {"role": "user", "content": f"总结文本：{text}"}
            ]
        },
        "parameters": {
            "temperature": 0.3,
            "result_format": "message"
        }
    }
    try:
        response = requests.post(url, headers=headers, json=data)
        result = response.json()
        return result["output"]["choices"][0]["message"]["content"].strip()
    except Exception as e:
        return f"调用失败：{str(e)}"

通义千问的API设计借鉴了OpenAI的风格，但响应结构略有不同。实测发现其result_format="message"参数能让返回结构更规范。

3.3 讯飞星火调用实现

讯飞星火的API最复杂，需要先获取访问令牌：

python复制def get_xunfei_token():
    url = f"https://spark-api.xf-yun.com/v1.1/chat?appId={XUNFEI_APP_ID}&apiKey={XUNFEI_API_KEY}&apiSecret={XUNFEI_API_SECRET}"
    response = requests.post(url)
    return response.json().get("access_token")

def call_xunfei(text):
    token = get_xunfei_token()
    url = "https://spark-api.xf-yun.com/v1.1/chat"
    headers = {
        "Authorization": f"Bearer {token}",
        "Content-Type": "application/json"
    }
    data = {
        "appId": XUNFEI_APP_ID,
        "messages": [
            {"role": "user", "content": f"总结以下文本：{text}"}
        ],
        "temperature": 0.3
    }
    try:
        response = requests.post(url, headers=headers, json=data)
        result = response.json()
        return result["payload"]["choices"]["text"][0]["content"].strip()
    except Exception as e:
        return f"调用失败：{str(e)}"

讯飞API的特别之处在于：

1. 需要APPID、API_KEY、API_SECRET三要素
2. 访问令牌有效期仅24小时
3. 响应结构嵌套较深，需要仔细处理

4. 测试设计与执行

4.1 测试文本选择

为了全面评估模型能力，我精心设计了三种类型的测试文本：

1. 科技新闻：包含技术参数、时间节点和商业数据
2. 技术文档：涉及编程语法、性能对比和使用建议
3. 销售报告：包含百分比数据、环比同比分析和业务洞察

python复制# 测试文本示例
tech_news = """
2026年1月，国内某科技公司发布新一代AI芯片...（具体内容见完整代码）
"""

python_doc = """
Python中的列表推导式是一种简洁的创建列表的方式...（具体内容见完整代码）
"""

sales_report = """
2025年第四季度公司电商平台销售额为8500万元...（具体内容见完整代码）
"""

4.2 测试执行框架

测试脚本采用模块化设计，便于扩展：

python复制def run_test():
    test_cases = [
        ("科技新闻", tech_news),
        ("技术文档", python_doc),
        ("销售报告", sales_report)
    ]
    
    for case_name, text in test_cases:
        print(f"\n=== {case_name}测试 ===")
        print("ChatGPT:", call_chatgpt(text))
        print("通义千问:", call_qwen(text))
        print("讯飞星火:", call_xunfei(text))

这种设计可以方便地添加新的测试用例，也便于结果对比分析。

5. 实测结果分析

5.1 量化评分对比

经过20轮测试，三大模型的表现评分如下：

5.2 典型结果示例

技术文档总结对比：

• ChatGPT：
  "列表推导式是Python中高效创建列表的方法，语法为[expr for var in iterable if cond]。相比传统方法可提升30%效率，减少50%代码量。示例展示了如何生成偶数平方列表。注意：复杂推导式会降低可读性，建议嵌套不超过两层。"

• 通义千问：
  "Python列表推导式提供简洁的列表创建方式，基本语法[...]。性能比传统方法提升30%，代码更精简。示例演示了偶数平方列表生成。使用建议：避免过度嵌套以保证可读性。"

• 讯飞星火：
  "列表推导式是Python特色功能，可简化列表创建。性能优势明显（+30%），代码更短。示例中[x*x for x in range(1,11) if x%2==0]生成偶数平方列表。注意：多层嵌套会影响代码可读性。"

5.3 场景化建议

1. 技术文档处理：

• 首选ChatGPT：术语准确，逻辑严谨
• 次选通义千问：表达流畅，中文适配好

2. 商业报告分析：

• 首选讯飞星火：数据敏感度高，能补充业务洞察
• 次选通义千问：结构清晰，重点突出

3. 新闻资讯摘要：

• 首选通义千问：关键信息提取准确，语言自然
• 次选ChatGPT：信息全面，但略显冗长

6. 优化技巧与避坑指南

6.1 性能优化建议

1. 批量处理：将多个文本组合成一个请求，减少API调用次数

python复制# 批量处理示例
texts = [text1, text2, text3]
batch_prompt = "请分别总结以下文本：" + "\n\n".join(f"文本{i+1}：{t}" for i,t in enumerate(texts))

2. 缓存机制：对相似文本使用缓存，避免重复计算

python复制from functools import lru_cache

@lru_cache(maxsize=100)
def cached_summary(text):
    return call_qwen(text)

3. 异步调用：使用aiohttp实现并发请求

python复制import aiohttp

async def async_call_qwen(text):
    async with aiohttp.ClientSession() as session:
        async with session.post(url, headers=headers, json=data) as resp:
            return await resp.json()

6.2 常见问题解决

1. ChatGPT连接超时

• 检查网络环境
• 降低temperature值减少响应时间
• 使用gpt-3.5-turbo-16k模型处理长文本

2. 通义千问密钥错误

• 确认使用的是dashscope专用密钥
• 检查密钥是否包含多余空格
• 确保账号已实名认证

3. 讯飞星火令牌失效

• 实现自动重试机制
• 将token获取与API调用分离
• 设置token有效期检查

6.3 高级应用场景

1. 长文本处理策略：

• 分段总结再聚合
• 使用支持长上下文的模型版本
• 提取关键段落优先处理

2. 多语言混合文本：

• 指定输出语言
• 处理时区分语言段落
• 使用多语言专用模型

3. 结构化输出需求：

• 在prompt中指定JSON格式
• 使用函数调用功能
• 后处理文本提取结构化数据

7. 工程实践建议

在实际项目中集成这些API时，建议采用以下最佳实践：

1. 配置管理：使用环境变量或配置中心管理API密钥

python复制import os
api_key = os.getenv("OPENAI_API_KEY")

2. 错误处理：实现健壮的重试机制

python复制from tenacity import retry, stop_after_attempt

@retry(stop=stop_after_attempt(3))
def reliable_call(text):
    return call_chatgpt(text)

3. 性能监控：记录API调用指标

python复制import time
start = time.time()
response = call_qwen(text)
duration = time.time() - start
log_metric("qwen_latency", duration)

4. 成本控制：实施用量配额和告警

python复制from collections import defaultdict
usage = defaultdict(int)

def check_quota(user):
    if usage[user] > 1000:
        raise QuotaExceededError()
    usage[user] += 1

经过全面测试和实际项目验证，我认为通义千问在国内场景下确实是最平衡的选择，特别是在中文文本处理方面表现出色。ChatGPT更适合需要高度逻辑性的场景，而讯飞星火在特定垂直领域有独特优势。开发者可以根据项目具体需求选择合适的模型，甚至组合使用多个模型以获得最佳效果。