1. 项目概述:构建BPE分词器的核心任务
CS336课程的第一个作业聚焦于构建现代语言模型的基础组件——BPE(Byte Pair Encoding)分词器。这个看似简单的工具实际上是GPT等大语言模型处理文本的关键前置步骤。不同于传统空格分词或字典分词,BPE通过统计学习构建词汇表,能有效平衡词汇量大小与序列长度。
在TinyStories数据集(约1GB文本)上训练10,000词表的BPE分词器时,我实测发现几个关键现象:
- 预处理阶段消耗了90%以上的时间(约52秒)
- 内存峰值仅110MB,说明算法本身非常轻量
- 最长学习到的token是" accomplishment",符合儿童故事数据集的特点
关键提示:BPE训练时要特别注意处理多字节Unicode字符。直接按字节拆分中文会导致解码错误,这是作业中UTF-8编码问题的核心考点。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Unicode编码原理与BPE实现
2.1 Unicode处理陷阱
作业中的unicode1问题暴露了文本处理的基础知识盲区:
python复制chr(0) # 返回空字符'\x00'
print(chr(0)) # 显示为空但实际占用位置
"test" + chr(0) + "string" # 拼接后仍保留空字符
UTF-8的变长编码特性使其成为NLP首选:
- 英文字符仅需1字节(ASCII兼容)
- 中文等需要3-4字节
- 比定长的UTF-16/32节省30-70%空间
2.2 BPE算法实现细节
核心训练过程分为两个阶段:
阶段一:预分词(内存瓶颈)
python复制def pretokenize(text):
return [bytes_to_int[b] for b in text.encode('utf-8')] + [eos_id]
- 将文本转为字节序列
- 添加文档结束符<|endoftext|>
- 多进程加速:将文本分块并行处理
阶段二:合并统计(计算瓶颈)
python复制while len(vocab) < target_size:
pair = max(freq_table, key=freq_table.get)
vocab[merge(pair)] = l
