NLP特征表示演进：从词袋模型到词嵌入技术

1. 从词袋到词嵌入：NLP特征表示的革命性演进

在自然语言处理领域，特征表示方式的变革往往能带来整个行业的技术跃迁。作为一名长期从事NLP算法研发的工程师，我见证了从传统词袋模型到现代词嵌入技术的完整演进历程。这种转变不仅仅是技术实现上的改进，更是对语言本质理解的范式迁移。

早期的词袋模型(Bag of Words, BoW)就像用乐高积木搭建语言模型——每个词都是独立的积木块，我们通过统计这些积木的数量来理解文本。这种方法直观易懂，但就像用积木拼装复杂建筑时会遇到限制一样，BoW在处理自然语言的复杂性时也显得力不从心。

现代词嵌入技术则更像是用橡皮泥塑造语言模型——词与词之间可以平滑过渡、融合变形，形成连续的语义空间。这种表示方式虽然失去了直观的可解释性，却获得了前所未有的表达能力。特别是在大型语言模型(LLM)时代，高维稠密嵌入已经成为理解语言深层次规律的关键。

2. 数学本质：两种表示范式的根本差异

2.1 词袋模型的核心特性

BoW本质上是一种基于统计的离散表示方法，其数学特性非常鲜明：

• 高维稀疏性：维度等于词表大小(通常10^4-10^6量级)，每个文档向量中非零元素极少
• 局部敏感性：每个维度对应特定词汇，修改单个词只影响对应维度
• 可解释性：每个维度有明确的语义对应关系，可以直接观察特征重要性

从实现角度看，典型的BoW向量构造过程如下：

1. 构建词表V =
2. 对文档d，初始化全零向量x ∈ R^
3. 遍历文档中的每个词w_i：
   • 如果w_i ∈ V，则x[i] += 1 (或TF-IDF权重)
4. 最终得到文档表示x

这种表示方式的最大优势是计算高效且易于理解。在文本分类等任务中，我们可以直接观察哪些词对分类贡献最大。例如在情感分析中，"优秀"、"糟糕"等词的权重往往具有决定性作用。

提示：当处理短文本或需要快速原型验证时，TF-IDF加权的BoW仍然是值得尝试的baseline方案。它的训练速度通常比神经网络模型快几个数量级。

2.2 现代词嵌入的核心特性

相比之下，现代词嵌入技术展现出完全不同的数学特性：

• 低维稠密性：典型维度100-4096，远小于词表大小，且向量元素几乎