大模型上下文管理：挑战与新型职责分离框架

1. 大模型上下文管理的核心挑战与现状

在当今AI技术快速发展的背景下，大型语言模型(LLM)已成为自动化编码、智能问答等场景的核心工具。然而，随着任务复杂度的提升，上下文管理问题日益凸显。传统方法直接将大量原始数据塞入上下文，导致模型性能显著下降，这一问题在自动化编码(Agentic Coding)场景中尤为突出。

1.1 上下文的基本概念与组成

大型语言模型本质上是一个基于已有token序列预测下一个token的概率系统。在一次请求中，我们输入给模型的完整内容即为上下文(Context)。典型Agent应用中的上下文通常包含四类内容：

1. 用户输入(User Input)
2. 工具调用与返回(Tool Calls & Responses)
3. 历史对话(Conversation History)
4. 工具定义(包括元信息如MCP)

对开发者而言，上下文工程的核心任务是：在正确的时间，以正确的结构，向模型传递正确的信息，使其做出最恰当的响应或决策。这涉及到上下文设计、组装、压缩、缓存管理以及评估优化等多个环节。

1.2 长上下文导致的性能下降问题

随着输入文本变长，模型会出现所谓的"长上下文退化"(long-context degradation)现象，具体表现为：

• 注意力稀释：关键信息被大量无关内容稀释，模型难以聚焦重要部分
• 位置编码失效：当输入远超训练时的最大上下文长度时，位置编码无法准确表示远距离token的相对关系
• 信息过载：输入包含重复、矛盾或无关信息，模型容易被噪声干扰
• 训练-推理不匹配：模型在训练阶段很少见到极长上下文样本，泛化能力有限

这些问题在编码场景中尤为明显。例如，当模型需要处理大型代码库时，传统的"全量读取"方法会迅速耗尽上下文窗口，导致模型性能急剧下降。

2. 传统上下文管理方法的局限性

2.1 文件读写工具的典型问题

在编码场景中，最基本的工具是文件读写(read_file和write_file)。最简单的实现是直接读取并返回完整文件内容(read_full_file)，但这种方法存在明显缺陷：

1. 上下文爆炸：大文件直接塞入上下文，迅速耗尽token限额
2. 路径模糊：模型可能传入类名、缺少后缀等不