乐正雕漆1. 大模型 Token 基础解析
在深入探讨大模型 Token 的奥秘之前，我们需要先建立一个基本认知框架。Token 是大语言模型处理文本的最小计算单位，它就像人类语言中的"原子"，构成了所有复杂语义表达的基础。
1.1 Token 的本质与生成机制
Token 的生成过程实际上是一个文本到数字的转换流水线：
- 原始文本输入：用户提供的自然语言文本（如"你好，世界！"）
- Tokenizer 处理：分词器将文本切分为 Token 序列（可能变为["你", "好", "，", "世界", "！"]）
- 数字映射：每个 Token 被转换为对应的词表 ID（如[123, 456, 789, 012, 345]）
- 模型计算：大模型处理这些数字序列并生成输出 ID
- 反向转换：输出 ID 通过 Tokenizer 解码回自然语言
关键提示：同一个词在不同上下文中可能被切分为不同 Token。例如"人工智能"可能被切为["人工", "智能"]，而" 人工智能"（带空格）可能被切为["␠人工", "智能"]。
1.2 Tokenizer 的工作原理
现代大模型使用的 Tokenizer 通常基于 Byte Pair Encoding (BPE)或类似算法，其核心逻辑是：
- 统计学习：分析海量文本中字符/子词的共现频率
- 合并策略：优先合并高频共现的字符组合
- 词表构建：最终形成包含数万到数十万 Token 的词表
这种机制导致几个重要特性：
- 常见词通常作为完整 Token 存在（如"中国"）
- 罕见词会被拆分为子词（如"量子计算"→["量子", "计算"]）
- 特殊符号、空格等可能影响切分结果
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 输入与输出 Token 的成本差异
2.1 计算架构的本质区别
输入（Prompt）和输出（Completion）Token 在计算方式上存在根本性差异：
| 处理阶段 | 计算特性 | 硬件利用率 | 典型延迟 |
|---|---|---|---|
| 输入处理 | 高度并行 | 90%+ | 较低 |
| 输出生成 | 严格串行 | 3 |