LangChain在RAG与Agent开发中的消息简写功能实践

1. 项目概述：LangChain在RAG与Agent开发中的核心价值

LangChain作为当前大模型应用开发的热门框架，正在重塑我们构建AI智能体的方式。这个项目聚焦两个关键场景：RAG（检索增强生成）系统开发与Agent智能体构建，特别是针对消息简写这一高频需求场景。在实际业务中，我们经常遇到需要将大模型返回的冗长回复压缩成简洁摘要的场景，比如客服自动回复摘要、会议纪要生成、新闻简报制作等。

我最近在金融行业知识问答系统中就遇到了典型需求：用户提问"美联储加息对A股市场的影响"，大模型返回的原始回答可能包含800字的经济分析，但移动端界面只能显示200字以内的摘要。这就需要通过LangChain搭建的智能处理流水线，实现"消息简写"这一核心功能。

2. 技术架构设计解析

2.1 核心组件选型

项目技术栈采用三层架构：

1. 基础层：LangChain Core + 聊天大模型API（如GPT-4）
2. 业务层：自定义Chain与Agent逻辑
3. 应用层：RAG知识库集成与消息处理管道

特别说明选择LangChain而非直接调用API的三个理由：

• 内置的Chain机制天然适合多步骤处理（检索→生成→压缩）
• Agent的tool使用范式简化了外部知识库集成
• 对历史对话的上下文管理更完善

2.2 RAG与Agent的协同设计

在消息简写场景中，RAG和Agent各司其职：

mermaid复制graph TD
    A[用户原始问题] --> B{RAG模块}
    B -->|检索相关文档| C[大模型生成详细回答]
    C --> D{Agent模块}
    D -->|调用摘要工具| E[压缩后的简写消息]

实际代码中通过LCEL（LangChain Expression Language）实现这个流水线：

python复制from langchain_core.runnables import RunnablePassthrough

chain = (
    {"context": retriever, "question": RunnablePassthrough()} 
    | prompt 
    | llm 
    | output_parser
    | summary_agent  # 自定义的摘要Agent
)

3. 消息简写功能的实现细节

3.1 摘要策略对比测试

我们对比了三种简写方案的效果：

最终选择递归压缩方案的关键代码：

python复制def recursive_summarize(text, target_length):
    while len(text) > target_length:
        chunk_size = min(2000, len(text))
        text = llm.invoke(f"请将以下内容压缩到{chunk_size//2}字以内:\n{text[:chunk_size]}")
    return text

3.2 上下文保持技巧

在金融领域摘要中，数字准确性至关重要。我们通过以下prompt设计保持关键信息：

text复制你是一位专业金融摘要员，请遵守：
1. 保留所有金额、百分比、时间点
2. 维持因果关系不变
3. 使用原标题中的术语
4. 输出不超过{target_length}字

待压缩内容：{input_text}

4. 性能优化实战记录

4.1 延迟优化方案

在线上环境测试发现平均响应时间达到1.2秒，通过三项改进降至580ms：

1. 预处理缓存：对高频问题的RAG结果建立5分钟TTL缓存
2. 流式处理：在生成同时启动摘要过程，而非等待全部完成
3. 模型分级：简单问题用GPT-3.5-turbo做初始摘要

优化后的异步处理流程：

python复制async def summarize_stream(stream):
    buffer = ""
    async for chunk in stream:
        buffer += chunk
        if len(buffer) > 500:
            yield await summary_agent.ainvoke(buffer)
            buffer = ""
    if buffer:
        yield await summary_agent.ainvoke(buffer)

4.2 质量保障方案

我们发现约15%的摘要存在信息失真，通过以下机制改善：

• 校验链：用另一个LLM检查摘要是否包含原文所有关键点
• 回退机制：当置信度<0.7时返回标准提示"内容过于复杂，建议查看详情"
• 人工审核队列：对VIP客户的问题摘要必入审核队列

5. 典型问题排查手册

5.1 消息截断问题

现象：摘要结尾突然截断
排查：

1. 检查token计数是否超限
2. 验证是否触发了敏感词过滤
3. 测试不同输入长度下的表现

解决方案：

python复制# 在chain中加入长度监控
chain = chain.with_config({"run_name": "summarize"}) | LengthValidator(max_length=500)

5.2 信息丢失问题

案例：将"上涨5.2%"错误摘要为"大幅上涨"
根因：prompt未强调数字保留要求
修复：在system message中加入数字保留条款，并添加正则校验：

python复制if not re.search(r'\d+\.?\d*%', summary):
    raise ValueError("百分比数据丢失")

6. 扩展应用场景

当前架构经简单适配即可支持：

1. 多语言摘要：通过添加翻译step实现
2. 格式转换：如将对话体改为邮件格式
3. 敏感信息过滤：集成内容审核工具链

一个会议纪要生成的变体实现：

python复制meeting_chain = (
    transcribe_audio 
    | format_converter("dialogue_to_report") 
    | summary_agent
    | keyword_extractor
)

在实施过程中，有几点经验值得特别分享：

1. 对金融、医疗等专业领域，建议维护领域术语保护词表
2. 流式处理时要注意上下文窗口的滑动方式
3. 摘要质量评估最好采用人工评分+自动化指标结合的方式
4. 当处理中文内容时，要特别注意标点符号对token计数的影响