1. 从"单词"到"token"：AI世界的语言单元革命

第一次接触AI领域的token概念时，我正尝试用GPT模型生成一篇技术文档。输入提示词"请用中文解释量子计算"，模型返回了流畅的段落。但当我将提示词改为英文"Explain quantum computing in Chinese"时，意外发现API调用消耗的token数量竟然比中文版本多出30%。这个现象引发了我的好奇：为什么不同语言的相同语义表达会消耗不同数量的token？答案就藏在这个看似简单却至关重要的概念里。

token在传统计算机科学中原指"令牌"，用于身份验证或资源访问控制。但在AI语境下，它已经演变为一种更基础的数据单元——就像生物体的DNA碱基对，或是物理世界的夸克。当我们将文本、图像或音频输入AI模型时，这些数据首先会被"分词器"(Tokenizer)拆解成token序列。以OpenAI的CL100k_base分词器为例，英文单词"hamburger"可能被编码为单个token，而中文短语"汉堡包"则通常被拆分为三个token（汉/堡/包）。这种差异正是导致中英文提示词token消耗量不同的根源。

2. token化过程的技术内幕

2.1 文本token化的三种典型模式

最常见的文本tokenization策略形成了一场有趣的"三国演义"：

• 单词级分词：将每个单词作为独立token，简单直观但词汇表庞大。例如"unhappiness"拆分为["un", "happiness"]
• 字符级分词：以单个字符为token，词汇表极小但序列过长。中文基本采用此方式
• 子词分词(Subword Tokenization)：平衡方案，通过算法将高频词保留为完整token，低频词拆解。BERT使用的WordPiece和GPT系列的Byte-Pair Encoding(BPE)都属于此类

我在处理法律文书AI项目时，曾遇到一个经典案例：一份合同中的"anti-disestablishmentarianism"（反政教分离主义）被BPE算法拆分为['anti', '-', 'dis', 'establish', 'ment', 'arian', 'ism']七个token。这种处理虽然增加了序列长度，但使得模型能通过词根组合理解生僻词汇。