大语言模型中的Token与上下文窗口技术解析

1. Token：AI世界的"货币"与"语言"

在AI领域，Token是一个既基础又关键的概念。它不仅是计费单位，更是大语言模型理解世界的"语言"。很多人误以为AI是按字数计费，实际上背后的机制要复杂得多。

1.1 Token的本质解析

Token可以理解为文本的最小语义单元。当你说"苹果"时：

• 人类看到的是两个字组成的词语
• 大语言模型看到的可能是编码为[1234,5678]的两个Token

这种差异源于模型的底层工作原理：

1. 分词器(Tokenizer) 先将文本切分成Token
2. 每个Token被映射为数字ID
3. 模型处理这些数字序列而非原始文本

注意：不同模型的分词方式差异很大。比如GPT-3的中文分词效率较低，而GPT-4和DeepSeek-V3做了专门优化。

1.2 中英文Token差异详解

英文场景：

• 简单单词："book" → 1 Token
• 复合词："bookshelf" → ["book","shelf"] → 2 Tokens
• 标点符号："," → 1 Token

中文场景：

• 单字词："书" → 1 Token（新模型）
• 复合词："书架" → ["书","架"] → 2 Tokens
• 标点符号："，" → 1 Token

实测数据表明：

• GPT-3.5时代：1000字中文≈2000-2500 Tokens
• GPT-4o/DeepSeek-V3：1000字中文≈1200-1500 Tokens
  效率提升近一倍，这也是新模型更经济的重要原因。

2. 上下文窗口：AI的记忆边界

2.1 技术原理深度剖析

上下文窗口本质上是Transformer架构的自注意力机制的计算限制。当输入序列长度超过窗口大小时：

1. 系统会采用滑动窗口策略
2. 保留最新的N个Token（N=窗口大小）
3. 丢弃超出部分的早期信息

这种设计源于技术限制：

• 注意力计算复杂度是O(n²)
• 128k Tokens的窗口需要处理163亿个注意力权重
• 硬件显存和计算能力都是硬约束

2.2 窗口大小的演进历程