1. BPE算法背景与核心思想
在自然语言处理领域,子词分词(Subword Tokenization)已经成为现代语言模型处理文本的基础技术。Byte Pair Encoding(BPE)作为其中最经典的算法之一,最初由Philip Gage在1994年提出用于数据压缩,后被Sennrich等人引入NLP领域,现已成为GPT、LLaMA等大语言模型的标准预处理组件。
BPE的核心思想可以用一个简单的例子来说明:假设我们有一个包含大量"hello"和"world"这两个单词的语料库。BPE会首先将所有文本拆分为单个字符(h, e, l, l, o, w, o, r, l, d),然后统计所有相邻字符对的出现频率。如果"he"和"ll"出现频率最高,算法就会将它们合并为新的子词单元。这个过程不断迭代,直到达到预设的词表大小。
关键提示:BPE之所以有效,是因为它能够自适应地发现语言中的常见组合模式。对于高频出现的完整单词(如"the"),它可能会被保留为独立token;而对于低频词,则会被拆分为有意义的子词(如"unhappiness"→"un"+"happiness")。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 项目实现目标与技术选型
本项目的目标是从零实现一个简化版的BPE算法,并应用于《英雄联盟》中亚索(玩家戏称为"托儿索")的背景故事和技能描述文本。选择这个特定领域语料有几个优势:
- 包含游戏特有的术语和命名实体(如"斩钢闪"、"风之障壁")
- 混合了中英文字符和特殊符号(如技能描述中的逗号、括号)
- 具有重复出现的固定表达(如"亚索"、"击飞"等)
技术实现上我们采用纯Python编写,主要考虑以下因素:
- UTF-8编码处理:确保能正确处理中文字符
- 基础数据结构:使用字典统计字节对频率,列表存储中间结果
- 可解释性:每个步骤都有明确的输入输出,方便调试
与现有实现(如HuggingFace的tokenizers库)相比,我们这个简化版专注于:
- 核心算法流程的清晰展示
- 训练与编码阶段的一致性保证
- 中文文本的特殊处理
3. 核心数据结构与算法流程
3.1 关键数据结构解析
字节对统计字典:
python复制stats = {
(228, 184): 152, # "中"的前两个字节
(184, 187): 120, # "中"的后两个字节
(230, 136): 98, # "文"的前两个字节
...
}
这个字典的键是代表相邻字节对的元组,值是该对在当前语料中出现的次数。在训练阶段,我们会选择频率最高的对进行合并。
合并规则表:
python复制merges = {
(228, 184): 256, # 第一个合并规则
(184, 187): 257, # 第二个合并规则
...
}
记录训练过程中发现的所有合并规则,其中键是要合并的字节对,值是分配给这个新token的唯一ID(从256开始递增)。
词表字典:
python复制vocab = {
0: b'\x00',
1: b'\x01',
...
256: b'\xe4\xb8\xad', # "中"的UTF-8编码
257: b'\xb8\xbb', # 后续合并结果
...
}
这个字典实现ID到字节序列的映射,用于最终的解码过程。前256个ID(0-255)保留给原始字节值。
3.2 训练阶段分步解析
- 语料预处理:
- 读取所有文本文件并拼接为单个字符串
- 使
