EYES 乱1. 从字符到智能：一句话的AI变形记
2017年，当Google的研究团队首次提出Transformer架构时，恐怕没人能想到，这个基于自注意力机制的模型会成为当代人工智能的基石。如今，我们每天使用的智能助手、自动补全和机器翻译，其核心都源于对一个简单句子的层层解构与重建。让我们以"今天天气很好"为例，看看这句话如何在AI的世界里完成它的奇幻漂流。
提示：理解大语言模型（LLM）的工作原理，就像学习一门新的外语。只不过这次，我们要教计算机理解人类的语言，而不是反过来。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 文本的数字化之旅
2.1 分词：语言的原子化处理
当人类看到"今天天气很好"时，我们自然将其理解为六个汉字组成的句子。但对AI来说，这串Unicode字符需要先被"切碎"成有意义的单元。现代大语言模型通常采用两种分词策略：
-
WordPiece分词（BERT等模型使用）
- 优点：保留完整词语
- 示例输出：["今天", "天气", "很", "好"]
-
Byte Pair Encoding (BPE)（GPT系列使用）
- 优点：更好处理罕见词
- 可能输出：["今", "天", "天气", "很", "好"]
实际操作中，分词器会维护一个包含3-5万个token的词汇表。以GPT-3为例：
- 常见词保持完整（如"天气"）
- 生僻词拆分为子词（如"量子"→"量"+"子"）
- 标点符号单独处理
避坑指南：中文分词比英文更复杂，同一个词可能有多种切分方式。专业团队会针对目标语言优化分词策略，比如加入专有名词识别。
2.2 数字化映射：从文字到编号
分词完成后，每个token会被转换为词汇表中的索引号。假设我们的迷你词汇表如下：
| Token | ID |
|---|---|
| 0 | |
| 今天 | 1 |
| 天气 | 2 |
| 很 | 3 |
| 好 | 4 |
那么"今天天气很好"就变成了数字序列：[1, 2, 3, 4]。这个简单的转换完成了语言到数学的第一步跨越。
3. 语义的向量化表达
3.1 词嵌入：词语的"DNA"
单纯的数字ID无法表达语义关系，因此需要嵌入层（Embedding Laye