1. 从关键词匹配到语义理解:Embedding技术演进
在信息检索领域,我们长期受困于传统搜索引擎的局限性。想象一下这样的场景:你在旅行网站上搜索"适合带孩子入住的舒适酒店",系统却漏掉了那些标注为"亲子友好型住宿"的完美选择。这种"词不匹配但意相符"的情况,正是传统基于关键词匹配的搜索系统难以克服的障碍。
传统搜索引擎的工作原理类似于一个严格的图书管理员——它只会查找完全匹配的关键词。这种基于布尔逻辑和精确匹配的检索方式,无法理解"舒适"和"温馨"之间的语义关联,也无法捕捉"家庭入住"和"亲子友好"之间的概念相似性。这就好比两个说不同方言的人交流,虽然表达的是同一个意思,却因为用词不同而无法互相理解。
1.1 语义相似度的数学表达
要突破这一局限,我们需要一种能够量化语义相似度的方法。余弦相似度(Cosine Similarity)成为了衡量文本语义距离的有效工具。其数学表达式为:
cos(θ) = (A·B) / (||A|| × ||B||)
其中A和B代表两个文本的向量表示,θ是它们之间的夹角。当两个向量方向完全一致时,余弦值为1;互相垂直时为0;方向相反时为-1。
在实际应用中,我们首先需要将文本转换为数值向量。以酒店推荐系统为例:
python复制from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
# 酒店描述向量
hotel_a = np.array([0.8, 0.3, 0.1]) # "舒适家庭酒店"
hotel_b = np.array([0.7, 0.4, 0.2]) # "亲子友好型住宿"
similarity = cosine_similarity([hotel_a], [hotel_b])
print(f"语义相似度: {similarity[0][0]:.2f}")
这段代码计算了两个酒店描述之间的语义相似度,结果为0.98,表明它们在语义空间中的位置非常接近。
1.2 从词频统计到语义嵌入
早期的文本表示方法如TF-IDF(词频-逆文档频率)虽然比单纯的词频统计有所改进,但仍然存在明显局限:
- 高维稀疏:对于包含10,000个唯一词的语料库,每个文档都会被表示为一个10,000维的向量,其中大多数元素为0
- 语义缺失:无法捕捉"好"与"优秀"之间的语义关系
- 词序忽略:"狗咬人"和"人咬狗"会被表示为相同的向量
以酒店描述数据集为例,使用TF-IDF处理152家酒店的描述文本后,得到的特征矩阵维度高达3,347维,且99%以上的元素都是0。这种稀疏表示不仅计算效率低下,更重要的是无法真正理解文本的语义内容。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Word2Vec:语义嵌入的里程碑
2013年,Google的研究团队提出的Word2Vec模型彻底改变了这一局面。该模型通过神经网络学习词语的分布式表示,将每个词映射到一个相对低维(通常50-300维)的稠密向量空间中,语义相似的词在向量空间中的位置也相近。
2.1 Word2Vec的两种架构
Word2Vec包含两种主要架构:
- CBOW(连续词袋模型):通过上下文词预测中心词
- Skip-gram(跳字模型):通过中心词预测上下文词
以Skip-gram模型为例,其神经网络结构非常简单:
- 输入层:一个one-hot编码的词向量(维度=词汇表大小V)
- 隐藏层:全连接层(权重矩阵W的大小为V×N,N是嵌入维度)
- 输出层:softmax分类器(权重矩阵W'的大小为N×V)
训练完成后,权重矩阵W的行向量就是我们要的词嵌入表示。
