1. 大模型中的Token基础概念
Token是大语言模型处理文本的基本单位,相当于人类语言中的"字词"。但它的划分逻辑比传统分词更精细——一个英文单词可能被拆成多个token,而一个中文汉字通常就是一个独立token。这种设计源于模型训练时的字节对编码(BPE)算法,目的是在词汇量和计算效率之间取得平衡。
我在实际使用GPT-3时做过测试:"unhappiness"这个单词会被拆解为"un"、"happi"、"ness"三个token,而中文短语"人工智能"则被处理为四个独立token(每个汉字一个)。这种差异直接影响API调用成本,因为大多数大模型服务都是按token数量计费。
关键提示:英文文本平均1个token对应4个字符,中文平均1个汉字对应1.2-2个token(包含标点符号)
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Token的技术实现原理
2.1 字节对编码(BPE)算法解析
BPE算法的核心是通过统计语料库中的字符共现频率,逐步合并高频字符对来构建词表。具体步骤包括:
- 初始化:将所有单词拆分为字符级token
- 统计:计算所有相邻字符对的出现频率
- 合并:将最高频的字符对合并为新token
- 迭代:重复统计和合并直到达到预设词表大小
以OpenAI的cl100k_base词表为例,其构建过程经历了约10万次合并操作,最终形成的词表包含:
- 单字token(如中文字符)
- 常见词根(如"ing"、"tion")
- 高频短语(如" artificial intelligence")
- 特殊控制符(如<|endoftext|>)
2.2 Tokenizer的工作流程
现代大模型的tokenizer通常执行以下处理链:
python复制text = "你好,世界!"
# 1. 标准化处理(统一Unicode编码、大小写转换)
normalized_text = normalize(text)
# 2. 预分词(按空格/标点初步分割)
pretokens = pre_tokenize(normalized_text)
# 3. 应用BPE算法
tokens = []
for word in pretokens:
tokens += bpe_encode(word)
# 输出:['你', '好', '
