1. 从词袋到词向量:NLP文本表示演进史
自然语言处理(NLP)的核心挑战在于如何让计算机理解人类语言的非结构化特性。传统文本表示方法经历了三个主要发展阶段:
1.1 基于统计的离散表示方法
早期NLP系统主要采用词袋模型(Bag of Words)和TF-IDF方法。我在2016年参与舆情分析项目时,曾用TF-IDF处理过百万级新闻文本:
python复制from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ["这是第一个文档", "这是第二个文档", "第三个文档在这里"]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())
这种方法的典型问题包括:
- 维度灾难(词汇表维度可达10^5级别)
- 无法捕捉词序信息("猫抓老鼠"和"老鼠抓猫"表示相同)
- 语义鸿沟(同义词无法关联)
1.2 分布式表示革命
2013年Word2Vec的提出是重大转折点。我在电商评论情感分析中对比发现,使用Word2Vec后准确率提升了18%:
python复制from gensim.models import Word2Vec
sentences = [["cat", "chases", "mouse"], ["mouse", "runs", "from", "cat"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)
print(model.wv["cat"]) # 输出100维词向量
关键突破在于:
- 相似的词在向量空间中距离相近
- 可以计算词向量间的数学关系(如:国王-男+女≈女王)
- 维度大幅降低(通常100-300维)
实践发现:当语料规模小于1GB时,使用预训练词向量(如腾讯AI Lab的800万词向量)效果优于从头训练
1.3 上下文相关的动态表示
传统词向量的最大局限是静态表示——同一个词在不同语境下向量不变。ELMo首次实现了上下文相关的表示:
python复制from allennlp.modules.elmo import Elmo, batch_to_ids
options_file = "https://allennlp.s3.amazonaws.com/models/elmo/2x4096_512_2048cnn_2xhighway/elmo_2x4096_512_2048cnn_2xhighway_options.json"
weight_file = "https://allenn
