1. 大模型如何处理词汇表外(OOV)单词?
在自然语言处理(NLP)领域,词汇表外(Out-of-Vocabulary, OOV)单词一直是模型面临的重大挑战。随着大语言模型(LLM)的兴起,这个问题变得更加突出,因为模型需要在各种语言和领域之间泛化。传统方法如固定词汇表在面对新词、专业术语或拼写变体时往往力不从心,而现代LLM通过创新的子词分词技术有效解决了这一难题。
1.1 为什么OOV问题如此重要?
想象你正在阅读一篇医学论文,里面充满了"pneumonoultramicroscopicsilicovolcanoconiosis"这样的专业术语。即使对人类来说,这些长单词也需要分解才能理解。对模型而言,OOV问题的影响更为显著:
- 信息丢失:传统方法将OOV单词统一标记为"UNK",导致语义信息完全丢失
- 领域适应差:不同领域(如医学、法律)的专业术语难以全部收录
- 多语言挑战:处理非英语语言时,形态丰富的特性使OOV问题更加复杂
提示:在BERT的原始实现中,使用WordPiece分词器后,OOV率从传统方法的15%降至不到5%,显著提升了模型性能。
1.2 子词分词技术原理
现代LLM主要采用三种子词分词方法,它们共同的核心思想是:将单词分解为更小的有意义的单元,这些单元的组合可以表示任意单词。
1.2.1 字节对编码(BPE)
BPE算法通过迭代合并频率最高的字符对来构建子词词汇表:
- 初始化:将所有单词拆分为字符
- 统计所有相邻字符对的频率
- 合并最高频的字符对,形成新的子词单元
- 重复步骤2-3,直到达到预设的词汇表大小
例如,对于单词"lowest"可能的分解过程:
l o w e s t → lo w e s t → low e s t → low est → lowest
实际应用中,GPT系列模型就采用了BPE变种。在GPT-3中,词汇表包含50,257个子词单元,可以高效表示各种英语单词及其变体。
1.2.2 WordPiece
WordPiece是BPE的改进版,主要区别在于合并策略:
- 不是简单地选择最高频的字符对
- 而是选择能最大程度提高语言模型概率的合并
- 使用公式:score = (freq
