从提示词工程到上下文工程：AI应用开发的新范式

1. 从提示词工程到上下文工程的范式转变

2025年AI领域最显著的变化之一，就是从业者从关注"提示词工程"转向重视"上下文工程"。这种转变不是简单的术语替换，而是反映了AI应用开发范式的根本性变革。

提示词工程（Prompt Engineering）就像是在餐厅点菜时精心斟酌措辞，试图让厨师准确理解你的需求。而上下文工程（Context Engineering）则更像是直接承包整个厨房，从食材采购到烹饪流程都亲自把控。前者关注单次交互的表达技巧，后者则着眼于构建完整的认知环境。

这种转变背后有几个关键驱动因素：

1. 企业级AI应用的复杂性：在实际业务场景中，AI需要处理的问题往往涉及多维度信息。一个简单的客户咨询可能涉及用户画像、历史记录、实时数据和政策条款等多个方面。

2. 模型能力的提升：随着上下文窗口的扩大（从早期的4k到现在的128k甚至更多），模型能够处理更复杂的上下文信息，这为更丰富的工程化方法提供了可能。

3. 成本与效率的考量：盲目地向模型投喂大量未经处理的上下文不仅效果不佳，还会显著增加计算成本。需要更智能的上下文管理策略。

2. 上下文工程的核心概念

2.1 什么是上下文工程

上下文工程是一门系统性地设计、组织和优化输入给AI模型的信息环境的学科。它包含以下几个关键方面：

• 信息选择：决定哪些信息应该被包含在上下文中
• 信息组织：如何结构化地呈现这些信息
• 信息更新：如何动态地维护和刷新上下文
• 信息压缩：如何在保留关键信息的同时减少token消耗

2.2 上下文工程的三大支柱

1. 领域知识（Knowledge）：包括企业文档、产品手册、历史案例等。这是传统RAG（检索增强生成）系统的主要关注点。

2. 工具描述（Tools）：API文档、函数说明、调用示例等。当系统集成了大量工具时，如何选择和使用这些工具成为关键挑战。

3. 交互历史（Memory）：对话历史、用户偏好、任务状态等。这些信息对于保持对话连贯性和个性化至关重要。

3. 企业级上下文工程的四大核心技术

3.1 选择性检索：精准获取所需信息

最原始的做法是将检索到的所有文档不加选择地塞入上下文，这会导致几个问题：

1. "迷失在中部"效应：模型对上下文开头和结尾的内容关注度更高，中间部分容易被忽略。
2. 信息冗余：不同文档可能包含重复或相似的内容。
3. 无关信息干扰：包含不相关内容会稀释模型对关键信息的注意力。

改进后的选择性检索流程包括三个关键步骤：

1. 相关性重排序：

   • 先用向量相似性进行初步检索
   • 然后使用交叉编码器（Cross-encoder）对结果进行精细排序
   • 这种方法虽然计算量较大，但准确性显著提高

2. 冗余移除：

   • 计算文档片段之间的相似度
   • 对高度相似的内容进行去重（余弦相似度>0.9）
   • 确保模型不会反复看到相同的信息

3. 任务感知过滤：

   • 利用文档元数据（如更新时间、适用区域等）
   • 根据当前任务需求进行针对性筛选
   • 例如：只保留最近更新的欧盟地区政策文档

3.2 上下文压缩：提升信息密度

上下文压缩的目标是在保持或提升信息质量的同时，减少token使用量。常见的压缩策略包括：

1. 带约束的LLM摘要：

   • 不是简单地要求"总结这篇文档"
   • 而是给出具体指令，如"仅保留2025年1月以后提到的定价变化"
   • 这种约束性摘要能产生更聚焦的结果

2. 句子级评分：

   • 使用小型模型（如BERT变体）对文档中的每句话进行评分
   • 只保留得分最高的20%内容
   • 这种方法速度快，适合实时处理

3. 分层摘要：

   • 对超长文档先按章节切分
   • 对各章节分别摘要，再对摘要进行二次摘要
   • 根据上下文预算选择合适的摘要层级

3.3 分层布局：优化信息结构

将上下文信息结构化地组织，可以帮助模型更好地理解和处理。一个验证有效的布局模式如下：

code复制<System Rules>
[系统级指令和行为约束]

<Task>
[当前任务的明确描述]

<User Profile>
[用户画像和偏好信息]

<Retrieved Context>
[检索到的相关知识片段]

<Tool Outputs>
[工具调用的结构化结果]

<Question>
[用户的具体问题]

这种布局方式有以下几个优势：

1. 明确的信息分区：模型能清楚区分不同类型的输入
2. 优先级指示：通过位置和标记强调关键信息
3. 减少指令冲突：系统规则和任务说明放在最前面，确保模型理解基本约束

3.4 工具感知上下文：整合实时数据

纯LLM的知识受限于其训练数据的时间点，无法获取最新信息。工具感知上下文通过以下方式解决这个问题：

1. 动态工具发现：

   • 实现MCP（Model-Controller-Plugin）风格的工具注册表
   • Agent在运行时动态查询可用工具
   • 新工具加入系统无需重新部署Agent

2. 结构化工具输出：

   • 工具返回JSON格式的结构化数据
   • 包含明确的字段和元数据
   • 例如：

3. 回答护栏：

   • 明确指示模型仅基于工具输出和检索上下文回答
   • 缺少信息时直接说明，避免编造
   • 例如："我当前的数据源中没有该信息"

4. 上下文工程实践指南

4.1 实施上下文工程的步骤

1. 需求分析：

   • 明确业务场景和AI系统的预期行为
   • 识别需要的信息类型和来源

2. 知识库建设：

   • 收集和组织相关文档
   • 添加适当的元数据标记
   • 建立文档更新机制

3. 工具集成：

   • 识别需要的外部数据源和API
   • 设计工具描述规范
   • 实现工具注册和发现机制

4. 上下文流水线设计：

   • 确定检索策略
   • 设计压缩算法
   • 规划上下文布局

5. 评估与优化：

   • 建立评估指标（准确率、响应时间、成本等）
   • 持续监控系统表现
   • 迭代改进各环节

4.2 常见挑战与解决方案

1. 信息过载：

   • 症状：模型表现不稳定，有时忽略关键信息
   • 解决方案：实施更严格的选择性检索和压缩

2. 信息不足：

   • 症状：模型频繁回答"我不知道"
   • 解决方案：扩大知识库覆盖范围，优化检索策略

3. 上下文窗口限制：

   • 症状：重要信息被截断
   • 解决方案：采用分层摘要，优先保留核心内容

4. 工具集成复杂：

   • 症状：工具调用失败率高
   • 解决方案：标准化工具接口，增加错误处理逻辑

5. 上下文工程的未来发展方向

随着AI技术的持续进步，上下文工程领域可能出现以下发展趋势：

1. 自适应上下文管理：

   • 系统能够根据对话进展动态调整上下文策略
   • 自动识别信息缺口并触发相应检索

2. 多模态上下文整合：

   • 不仅处理文本，还能整合图像、音频等多模态信息
   • 开发统一的上下文表示方法

3. 实时学习与记忆：

   • 在对话过程中持续更新和优化上下文
   • 建立长期记忆机制，减少重复检索

4. 成本感知的上下文优化：

   • 在效果和成本之间实现智能平衡
   • 预测不同上下文策略的资源消耗

上下文工程代表了AI应用开发的下一个前沿领域。掌握这项技术，意味着能够构建更可靠、更高效、更智能的AI系统。对于希望在2026年及以后保持竞争力的企业和开发者来说，投资于上下文工程能力建设将是一项关键战略。