1. RAG+Agent系统评估与优化实战概述
在构建完RAG+Agent系统的基础功能后，如何评估系统质量并进行优化成为关键挑战。本文将从实战角度，分享一套完整的评估与优化方法论，帮助开发者将系统从"能用"提升到"好用"的生产级标准。
RAG（检索增强生成）与Agent系统的结合，正在成为企业知识管理和业务流程自动化的重要技术方案。但在实际落地过程中，许多团队都会遇到相似的困境：系统虽然能运行，但效果如何、稳定性怎样、成本是否合理，往往缺乏量化依据。这种"黑箱"状态严重阻碍了系统的生产部署和持续优化。
提示：评估优化的核心目标是建立系统的可观测性和可控性，让开发者能够准确了解系统表现，并有针对性地进行改进。
2. 系统评估框架设计
2.1 三层评估视角
一个完整的RAG+Agent系统需要从三个层面进行评估：
2.1.1 检索层(R)评估
- 召回率：系统是否能找到所有相关文档片段
- 准确率：返回的文档是否确实与问题相关
- 排序质量：最重要的文档是否排在前面
2.1.2 推理层(A)评估
- 事实准确性：回答是否与检索到的文档一致
- 逻辑完整性：回答是否全面覆盖问题要点
- 可读性：回答是否清晰易懂
2.1.3 行为层(G)评估
- 工具调用合理性：是否在必要时才调用外部工具
- 执行效率：工具调用和技能执行的耗时
- 失败处理：异常情况是否得到妥善处理
2.2 最小可行评估方案
对于刚起步的团队，建议从以下三个基础目标开始：
- 构建基准问题集：选取50-100个典型业务问题作为评估基准
- 实现离线评估脚本：自动化运行测试并生成基础指标报告
- 建立调用日志系统：记录每次会话的完整执行轨迹
3. RAG离线评估实现
3.1 构建评估数据集
评估数据集应包含三个核心要素：
- 问题(question)：用户可能提出的典型查询
- 参考答案(answer)：问题的标准回答
- 相关文档(doc_ids)：问题对应的文档片段ID
python复制# eval_set.jsonl示例
{
"id": 1,
"question": "合同付款的违约金标准是多少？",
"answer": "逾期付款需按日万分之五支付违约金",
"doc_ids": ["contract-clause-2023#sec5.2"]
}
3.2 评估脚本实现
核心评估流程包括：
- 加载评估数据集
- 初始化RAG系统
- 对每个问题执行检索和生成
- 记录结果并计算指标
python复制def run_rag_eval(question):
# 执行检索
docs = retriever.retrieve(question)
# 生成回答
answer = llm.generate(
context=docs,
question=question
)
# 记录结果
return {
"question": question,
"retrieved_docs": docs,
"generated_answer": answer
}
3.3 自动评分机制
利用LLM进行自动评分时，需要注意：
- 设计清晰的评分标准（如0-5分制）
- 提供具体的评分指引
- 限制输出格式以确保可解析性
python复制def llm_auto_score(question, reference, answer):
prompt = f"""
请根据以下标准对回答评分(0-5分):
- 0分:完全无关或错误
- 3分:基本正确但不完整
- 5分:准确完整
问题: {question}
参考答案: {reference}
待评分回答: {answer}
只输出分数数字。
"""
response = llm(prompt)
return int(response.strip())
4. 系统可观测性设计
4.1 日志规范设计
完整的日志系统应包含三个层级：
4.1.1 会话级日志
json复制{
"session_id": "sess-123",
"user_query": "合同审批流程是什么",
"start_time": "2024-03-01T10:00:00Z",
"end_time": "2024-03-01T10:00:15Z"
}
4.1.2 Skill级日志
json复制{
"skill_name": "contract_review",
"input_params": {"contract_id": "CT2024001"},
"execution_time": 1250,
"status": "success"
}
4.1.3 工具调用日志
json复制{
"tool_name": "mcp:contract.get_history",
"request_params": {"contract_id": "CT2024001"},
"response_status": 200,
"duration_ms": 45
}
4.2 日志收集实现
推荐采用分层日志收集策略：
- 应用层埋点：在关键执行节点插入日志记录
- 中间件收集：通过拦截器统一收集工具调用日志
- 异步写入：使用消息队列避免阻塞主流程
python复制class LoggingMiddleware:
def __init__(self, app):
self.app = app
def __call__(self, request):
start = time.time()
response = self.app(request)
duration = time.time() - start
log_event({
"path": request.path,
"method": request.method,
"status": response.status_code,
"duration": duration
})
return response
5. 性能优化实战技巧
5.1 RAG检索优化
5.1.1 分块策略优化
- 技术文档：500-800字符/块，重叠100字符
- 合同条款：300-500字符/块，重叠50字符
- 对话记录：按对话轮次分块
5.1.2 检索参数调优
python复制# 最优参数通常在这个范围内
retriever = vectorstore.as_retriever(
search_type="mmr", # 最大边际相关
search_kwargs={
"k": 5, # 召回数量
"fetch_k": 20 # 初筛数量
}
)
5.2 LLM使用优化
5.2.1 分层模型策略
| 任务类型 | 推荐模型 | 成本 | 适用场景 |
|---|---|---|---|
| 意图识别 | GPT-3.5 | 低 | 简单分类 |
| 内容生成 | GPT-4 | 高 | 报告撰写 |
| 代码处理 | DeepSeek-Coder | 中 | 代码相关 |
5.2.2 Prompt优化技巧
- 使用明确的指令标记
python复制prompt = """
[指令]
请严格按照以下要求回答：
1. 只基于提供的合同条款回答
2. 回答不超过100字
3. 使用条款编号作为引用
[条款内容]
{context}
[问题]
{question}
"""
5.3 工具调用优化
5.3.1 缓存策略
python复制from functools import lru_cache
@lru_cache(maxsize=1000)
def get_contract_history(contract_id):
# 调用MCP接口获取历史记录
return mcp_client.get_history(contract_id)
5.3.2 超时与重试
python复制from tenacity import retry, stop_after_attempt, wait_exponential
@retry(
stop=stop_after_attempt(3),
wait=wait_exponential(multiplier=1, min=4, max=10)
)
def call_mcp_with_retry(method, params):
try:
return mcp_client.call(
method,
params,
timeout=5 # 5秒超时
)
except TimeoutError:
log_event("MCP调用超时")
raise
6. 生产部署建议
6.1 监控指标设计
核心监控指标应包括：
- 质量指标：回答准确率、文档召回率
- 性能指标：P99延迟、吞吐量
- 成本指标：Token消耗、API调用次数
6.2 渐进式优化策略
- 基线测试：建立系统当前表现的基准
- 瓶颈分析：识别性能热点和主要问题
- 针对性优化：每次只调整一个变量
- 效果验证：通过A/B测试确认改进效果
6.3 常见问题排查
6.3.1 检索质量问题
- 检查分块是否合理
- 验证向量模型是否适配业务领域
- 调整检索参数(k值、相似度阈值)
6.3.2 生成内容问题
- 检查Prompt是否清晰
- 验证上下文是否完整
- 测试不同温度(temperature)参数
6.3.3 工具调用问题
- 检查接口权限和认证
- 验证输入输出格式
- 监控接口响应时间
在实际项目中，我们发现最有效的优化往往来自于对系统行为的深入观察和分析。建议团队建立定期的评估复盘机制，持续收集用户反馈，形成"评估-优化-验证"的闭环。