eagerworks1. 对话式AI的记忆错觉：我们误解了什么？
每次与ChatGPT这类大模型对话时，用户常会产生一种错觉——AI似乎记得之前的对话内容。这种体验如此真实，以至于很多人会问："AI真的有记忆吗？"事实上，大语言模型（LLM）的运作机制与人类记忆有着本质区别。当我们说"AI记得对话历史"时，实际上是指模型在每次交互中都会接收完整的对话上下文作为输入。
这种机制类似于把一本不断增厚的笔记本递给一个失忆的天才。笔记本上记录着从对话开始到当前时刻的所有内容，而AI每次只能基于当前看到的笔记内容作出回应。它没有真正的记忆能力，只是具备强大的上下文理解与生成能力。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 大模型对话的完整输入结构解析
2.1 对话上下文的拼接方式
现代对话系统的输入并非单条消息，而是经过特殊格式化的完整对话历史。以OpenAI的API为例，一个典型的对话输入结构如下：
json复制[
{"role": "system", "content": "你是一个乐于助人的AI助手"},
{"role": "user", "content": "你好，能介绍一下自己吗？"},
{"role": "assistant", "content": "当然！我是一个AI助手，可以回答各种问题。"},
{"role": "user", "content": "那你知道大模型是怎么工作的吗？"}
]
这种结构包含了：
- 系统提示（system）：设定AI的角色和行为准则
- 用户消息（user）：人类用户提出的问题或指令
- 助手回复（assistant）：AI之前的回应内容
2.2 上下文窗口的限制与影响
所有大模型都有一个关键参数——上下文窗口（context window），它决定了模型能处理的最大token数量（1token≈0.75个英文单词）。例如GPT-4的32k版本最多可处理约24,000个英文单词的上下文。
当对话长度超过这个限制时，系统必须采用某种策略截断部分内容。常见方法包括：
- 丢弃最早的对话内容（滑动窗口）
- 选择性保留关键信息（通过算法提取）
- 总结压缩历史对话（损失部分细节）
提示：在实际应用中，系统提示和早期对话往往最先被截断，这解释了为什么AI有时会"忘记"自己的角色设定。