从词袋模型到BERT：NLP文本表示技术演进

1. 从词袋模型到BERT：文本表示方法的演进脉络

自然语言处理（NLP）的核心挑战之一是如何让计算机理解人类语言。文本表示方法的发展史，就是一部人类试图用数学语言描述文字意义的探索史。早期的词袋模型将文本简化为无序的单词集合，Word2Vec首次让单词有了"语义坐标"，而BERT则通过上下文感知彻底改变了游戏规则。

这三种方法代表了NLP发展的三个重要里程碑。2000年代初，词袋模型凭借其简单高效成为文本分类的基础工具；2013年问世的Word2Vec让"国王-男人+女人≈女王"成为可能；2018年BERT的横空出世，则使机器真正开始理解词语在不同语境中的微妙差异。

2. 词袋模型：文本处理的基石

2.1 基本原理与实现

词袋模型(Bag of Words，BoW)的核心思想异常简单：忽略词语顺序和语法，仅统计每个词在文档中出现的次数。这种看似粗暴的方法却成为早期NLP任务的基石。

假设我们有以下两个句子：

• 句子A："猫追老鼠，老鼠怕猫"
• 句子B："狗爱骨头，猫也爱骨头"

构建词袋的步骤是：

1. 创建词汇表：["猫","追","老鼠","怕","狗","爱","骨头","也"]
2. 统计词频：
   • 句子A向量：[2,1,2,1,0,0,0,0]
   • 句子B向量：[1,0,0,0,1,2,2,1]

在Python中，用scikit-learn实现只需几行代码：

python复制from sklearn.feature_extraction.text import CountVectorizer
corpus = ["猫追老鼠，老鼠怕猫", "狗爱骨头，猫也爱骨头"]
vectorizer = CountVectorizer(token_pattern='\\b\\w+\\b')
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())  # 输出词汇表
print(X.toarray())  # 输出词频矩阵

2.2 进阶变体与优化

原始词袋模型有几个明显缺陷：忽略常用词干扰、无法体现词的重要性差异。TF-IDF（词频-逆文档频率）应运而生，其核心思想是：一个词在文档中出现的次数越多，同时在所有文档中出现的次数越少，它对该文档的代表性就越强。

TF-IDF计算公式：

code复制TF-IDF = TF(t,d) × IDF(t)
IDF(t) = log(总文档数/包含词t的文档数)

实践中，TF-IDF能有效降低"的"、"是"等停用词的权重。scikit-learn中的实现同样简洁：

python复制from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(corpus)

2.3 应用场景与局限性

词袋模型在以下场景仍具实用价值：

• 短文本分类（如垃圾邮件检测）
• 情感分析（基于关键词判断情绪倾向）
• 主题建模（如LDA主题模型的基础）

但它的局限性也很明显：

1. 维度灾难：词汇表可能高达数万维
2. 语义缺失："苹果公司"和"吃苹果"中的"苹果"无法区分
3. 词序忽略："猫追狗"和"狗追猫"表示相同

实战经验：在处理中文文本时，建议先进行准确的分词。使用jieba等工具时，注意添加领域专有名词到用户词典，避免重要术语被错误切分。

3. Word2Vec：词语的分布式表示

3.1 从One-Hot到词向量

Word2Vec（2013年Google发布）的革命性在于：它将每个词表示为一个稠密向量（通常200-300维），并通过向量空间中的位置关系捕捉语义。与one-hot编码相比，这种分布式表示有两大优势：

1. 维度大幅降低（从数万维到数百维）
2. 语义相似的词在向量空间中距离相近

关键创新是"用上下文预测词"(CBOW)和"用词预测上下文"(Skip-gram)两种训练方式。以Skip-gram为例，模型通过调整词向量，使得给定中心词时，其上下文词出现的概率最大化。

3.2 训练过程揭秘

Word2Vec的训练需要解决几个工程问题：

1. 负采样：原始softmax计算代价过高，改用噪声对比估计
2. 层次softmax：使用霍夫曼树加速计算
3. 高频词下采样：避免"的"、"是"等词主导训练

以下是使用gensim训练Word2Vec的典型代码：

python复制from gensim.models import Word2Vec
sentences = [["猫","追","老鼠"], ["狗","啃","骨头"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
print(model.wv["猫"])  # 输出"猫"的词向量
print(model.wv.similarity("猫", "狗"))  # 计算相似度

3.3 语义关系的数学表达

Word2Vec最令人惊叹的特性是它能捕捉类比关系：

code复制vec("国王") - vec("男人") + vec("女人") ≈ vec("女王")

这种特性源于词向量的线性结构。在实际应用中，我们可以：

• 查找近义词（语义搜索）
• 衡量文本相似度（向量求平均后计算余弦相似度）
• 作为下游任务的输入特征（文本分类、命名实体识别等）

避坑指南：中文Word2Vec模型训练需要足够大的语料库（建议至少1GB纯文本）。如果数据不足，可以使用预训练模型如腾讯AI Lab开源的800万词向量。

4. BERT：上下文感知的预训练模型

4.1 Transformer架构突破

BERT（Bidirectional Encoder Representations from Transformers，2018）基于Transformer的Encoder部分，通过两种预训练任务学习文本表示：

1. 掩码语言模型（MLM）：随机遮盖15%的词，预测原词
2. 下一句预测（NSP）：判断两个句子是否连续

关键创新在于双向编码——传统语言模型（如GPT）只能从左到右或从右到左处理文本，而BERT能同时利用前后文信息。

4.2 预训练与微调实践

BERT的使用通常分为两步：

1. 在大规模语料上预训练（计算资源要求高）
2. 在特定任务上微调（相对轻量）

以文本分类为例的HuggingFace实现：

python复制from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertForSequenceClassification.from_pretrained('bert-base-chinese')

inputs = tokenizer("这是一个正面的评论", return_tensors="pt")
labels = torch.tensor([1]).unsqueeze(0)  # 假设1表示正面
outputs = model(**inputs, labels=labels)
loss = outputs.loss
logits = outputs.logits

4.3 注意力机制解析

BERT的核心是自注意力机制，它通过三个关键步骤计算词语间的关系：

1. 将每个词转换为Query、Key、Value三个向量
2. 计算Query与所有Key的点积得分，并softmax归一化
3. 用得分加权求和Value向量

这种机制使BERT能够动态关注不同位置的上下文信息。例如在"苹果很甜"和"苹果发布会"中，模型会自动调整对"苹果"的关注重点。

5. 三大模型对比与选型指南

5.1 技术指标对比

5.2 实际应用建议

1. 词袋模型仍有用武之地：

   • 当处理短文本分类且数据量小时
   • 作为基线模型验证更复杂方法的收益
   • 与简单机器学习模型（如朴素贝叶斯）搭配使用

2. Word2Vec的适用场景：

   • 构建推荐系统的物品表示
   • 需要词语级别相似度计算的任务
   • 作为深度学习模型的输入特征

3. BERT的最佳实践：

   • 有足够GPU资源时优先考虑
   • 处理歧义性强的文本（如法律合同）
   • 需要深度理解上下文的任务（如问答系统）

5.3 性能优化技巧

• 混合使用策略：对大规模文档集，可先用词袋筛选相关文档，再用BERT精细处理
• 知识蒸馏：用大BERT模型训练小模型（如TinyBERT），平衡性能与效率
• 迁移学习：在领域相近时，复用预训练BERT的底层参数

在资源有限的情况下，可以尝试ALBERT或DistilBERT等轻量变体，它们通过参数共享和模型压缩大幅减少了计算开销。

文本表示技术的发展远未停止，从GPT-3到ChatGPT，我们看到更大的模型和更复杂的架构不断突破NLP的边界。但理解这些基础方法的核心思想，仍然是处理文本数据不可或缺的基础。