1. 词向量与语义表示基础
在自然语言处理领域,词向量(Word Embedding)是将词语映射到高维空间中的数学表示。这种表示方法的核心价值在于,它能够将人类语言中的语义关系转化为计算机可以处理的数值关系。当我们把"狗"和"猫"这两个词转换为向量后,它们在向量空间中的相对位置就能反映其语义相似性。
词向量技术经历了从简单到复杂的发展历程:
- 早期的one-hot编码:每个词用一个很长的向量表示,向量长度等于词汇表大小
- 分布式表示(如Word2Vec):通过神经网络训练得到稠密向量
- 上下文相关表示(如BERT、GPT):同一个词在不同上下文中会有不同的向量表示
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 相似度度量方法详解
2.1 欧氏距离的计算与应用
欧氏距离是最直观的距离度量方式,在三维空间中就是我们熟悉的"两点之间直线距离"的概念。在高维空间中,两个向量A和B的欧氏距离计算公式为:
distance = √(Σ(Ai - Bi)²)
其中Ai和Bi分别表示向量A和B在第i维上的分量。这个距离值越小,表示两个向量越接近。
在实际应用中,我们经常会计算欧氏距离的平方来避免开方运算:
squared_distance = Σ(Ai - Bi)²
注意:当向量经过归一化处理后(即向量长度为1),欧氏距离平方与余弦相似度之间存在确定的数学关系:squared_distance = 2(1 - cosine_similarity)
2.2 余弦相似度的原理与优势
余弦相似度衡量的是两个向量在方向上的相似程度,计算公式为:
cosθ = (A·B) / (||A|| × ||B||)
其中:
- A·B表示向量点积
- ||A||表示向量A的模(长度)
在GPT-4等现代语言模型中,推荐使用余弦相似度的主要原因包括:
- 只关注方向而非大小:更适合衡量语义相似性
- 计算效率高:特别是当向量已经归一化时
- 对向量长度不敏感:适合比较不同长度的文本嵌入
3. GPT-4中的向量空间特性
3.1 单位向量的标准化处理
GPT-4对其生成的嵌入向量进行了标准化处理,使得所有向量的长度都为1。这一处理带来了几个重要特性:
- 点积等于余弦相似度:A·B = cosθ
- 欧氏距离平方与余弦相似度线性相关:||A-B
