词向量技术演进：从词袋模型到BERT的30年历程

1. 词向量技术演进全景图

从最早的词袋模型到如今的BERT、GPT等预训练模型，词向量技术走过了近30年的发展历程。我整理了这张技术演进路线图，帮助大家快速建立全局认知：

2000年前：基于统计的浅层表示

• 词袋模型（Bag of Words）
• TF-IDF（Term Frequency-Inverse Document Frequency）

2000-2013年：分布式表示萌芽

• 潜在语义分析（LSA）
• 主题模型（LDA）
• Word2Vec（2013年里程碑）

2014-2017年：上下文无关嵌入

• GloVe（2014）
• FastText（2016）

2018年至今：上下文相关表示

• ELMo（2018）
• BERT（2018）
• GPT系列（2018-2023）

关键转折点：2013年Word2Vec的横空出世，首次证明了神经网络可以学习到有意义的词向量表示，为后续发展奠定了基础。

2. 传统词向量技术详解

2.1 词袋模型（Bag of Words）

词袋模型是最基础的文本表示方法。我在早期项目中经常使用这种简单粗暴的方式：

python复制from sklearn.feature_extraction.text import CountVectorizer

corpus = [
    'This is the first document.',
    'This document is the second document.',
    'And this is the third one.',
    'Is this the first document?'
]

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())
print(X.toarray())

输出结果：

code复制['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']
[[0 1 1 1 0 0 1 0 1]
 [0 2 0 1 0 1 1 0 1]
 [1 0 0 1 1 0 1 1 1]
 [0 1 1 1 0 0 1 0 1]]

核心缺陷：

1. 维度灾难（Vocabulary过大）
2. 无法捕捉词序信息（"狗咬人"和"人咬狗"表示相同）
3. 无法处理语义相似性（同义词不同表示）

2.2 TF-IDF加权方案

TF-IDF是对词袋模型的改进，我在处理新闻分类任务时发现其效果提升显著：

python复制from sklearn.feature_extraction.text import TfidfVectorizer

tfidf_vectorizer = TfidfVectorizer()
X_tfidf = tfidf_vectorizer.fit_transform(corpus)
print(X_tfidf.toarray().round(2))

输出示例：

code复制[[0.   0.47 0.58 0.38 0.   0.   0.38 0.   0.38]
 [0.   0.69 0.   0.28 0.   0.54 0.28 0.   0.28]
 [0.51 0.   0.   0.27 0.51 0.   0.27 0.51 0.27]
 [0.   0.47 0.58 0.38 0.   0.   0.38 0.   0.38]]

TF-IDF计算公式：

code复制TF(t,d) = 词t在文档d中出现的次数 / 文档d的总词数
IDF(t) = log(总文档数 / 包含词t的文档数)
TF-IDF(t,d) = TF(t,d) * IDF(t)

实际应用心得：

• 适合短文本场景（如新闻标题分类）
• 需要配合停用词过滤（NLTK的stopwords）
• 对长文档效果下降明显（权重分布过于平均）

3. 神经网络词向量革命

3.1 Word2Vec突破性进展

2013年Mikolov提出的Word2Vec改变了游戏规则。我在实践中验证了其强大之处：

python复制from gensim.models import Word2Vec

sentences = [
    ["cat", "say", "meow"], 
    ["dog", "say", "woof"]
]

model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
print(model.wv["cat"])  # 输出100维向量

两种模型架构对比：

参数设置经验：

• vector_size：通常100-300维
• window：5-10效果最佳
• negative sampling：5-20负样本
• epochs：3-10次迭代

3.2 GloVe与FastText演进

2014年Stanford提出的GloVe结合了全局统计与局部上下文：

python复制from gensim.scripts.glove2word2vec import glove2word2vec
from gensim.models import KeyedVectors

glove_input_file = 'glove.6B.100d.txt'
word2vec_output_file = 'glove.6B.100d.word2vec.txt'
glove2word2vec(glove_input_file, word2vec_output_file)

model = KeyedVectors.load_word2vec_format(word2vec_output_file)
print(model.most_similar("king", topn=5))

FastText则进一步改进子词（subword）表示：

python复制from gensim.models import FastText

model = FastText(vector_size=100, window=3, min_count=1)
model.build_vocab(corpus_file="text_corpus.txt")
model.train(...)

子词表示优势：

• 解决OOV（out-of-vocabulary）问题
• 适合形态丰富的语言（如德语、土耳其语）
• 能学习词缀语义（如"running"中的"-ing"）

4. 上下文相关表示新时代

4.1 ELMo动态词向量

2018年ELMo引入双向LSTM生成上下文相关表示：

python复制from allennlp.modules.elmo import Elmo, batch_to_ids

options_file = "elmo_2x4096_512_2048cnn_2xhighway_options.json"
weight_file = "elmo_2x4096_512_2048cnn_2xhighway_weights.hdf5"

elmo = Elmo(options_file, weight_file, 1, dropout=0)
character_ids = batch_to_ids(["The sentence"])
embeddings = elmo(character_ids)
print(embeddings["elmo_representations"][0].shape)

架构特点：

• 双向LSTM堆叠
• Char-CNN处理子词
• 不同层表示不同语义层次

4.2 BERT与GPT的变革

BERT的预训练+微调范式彻底改变了NLP领域：

python复制from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")

inputs = tokenizer("Hello world!", return_tensors="pt")
outputs = model(**inputs)
print(outputs.last_hidden_state.shape)  # [1, 4, 768]

关键进步：

• Transformer自注意力机制
• 掩码语言模型（MLM）
• 下一句预测（NSP）任务
• 大规模预训练+领域微调

5. 实战对比与选型建议

5.1 各模型效果对比

我在相同数据集（IMDB影评）上的测试结果：

5.2 选型决策树

根据我的项目经验总结的选择路径：

1. 资源有限 → FastText/TF-IDF
2. 需要词级相似度 → Word2Vec/GloVe
3. 处理一词多义 → ELMo/BERT
4. 领域特定任务 → 领域BERT微调
5. 生成任务 → GPT系列

5.3 最新趋势观察

2023年值得关注的方向：

• 稀疏表示（如ColBERT）
• 多模态向量（CLIP风格）
• 量化压缩技术（如1-bit BERT）
• 知识增强表示（ERNIE风格）

重要提醒：不要盲目追求最新模型，在资源受限场景下，Word2Vec等"老"技术仍具实用价值。我曾在一个工业项目中，用精心调参的Word2Vec+规则方法打败了直接上BERT的方案。