1. 什么是Tokenization分词?
Tokenization(分词)是自然语言处理(NLP)中最基础也最关键的预处理步骤。简单来说,就是把连续的文本拆分成有意义的语言单元(token)的过程。想象一下你在读一本英文书,眼睛会自动把句子分解成单词来理解——这就是人类大脑在做的"分词"。
在计算机处理文本时,我们需要明确告诉机器如何划分这些语言单元。比如英文句子"The quick brown fox"会被分成["The", "quick", "brown", "fox"]四个token。而对于中文"快速的棕色狐狸",可能被分成["快速", "的", "棕色", "狐狸"]。
注意:token并不完全等同于单词。根据分词策略不同,一个token可以是一个词、子词甚至字符。比如"unhappiness"可能被分成"un", "happiness"两个子词token。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 为什么需要Tokenization?
2.1 文本的离散化表示
计算机无法直接理解原始文本字符串。通过tokenization,我们将文本转化为离散的token序列,这是后续数值化处理(如词嵌入)的前提。就像乐高积木,token就是构建NLP模型的基本积木块。
2.2 解决词汇表爆炸问题
如果每个单词都作为一个独立token,词汇表会变得巨大(英语有百万级单词)。通过子词分词(subword tokenization),我们可以用较小的词汇表(如3万token)覆盖几乎所有词汇。
2.3 处理未登录词(OOV)
传统分词遇到词典中没有的词就会失败。现代分词方法(如BPE)可以拆分未知词为已知子词,比如"ChatGPT"→["Chat", "G", "PT"]。
3. 主流分词方法详解
3.1 基于空格的分词(Whitespace Tokenization)
最简单的分词方法,按空格和标点分割。适用于英语等以空格分隔的语言。
python复制text = "Hello, world! This is NLP."
tokens = text.split()
# 结果: ['Hello,', 'world!', 'This', 'is', 'NLP.']
问题:标点符号粘在单词上,需要额外处理。
