1. RAG Embedding与传统Embedding的本质差异
1.1 技术定位的根本区别
传统Embedding技术(如Word2Vec、GloVe)本质上是静态的词向量表示方法。2013年诞生的Word2Vec通过浅层神经网络学习词语的分布式表示,其核心思想是"出现在相似上下文中的词语具有相似语义"。这种方法的局限性在于:
- 词向量固定不变,无法处理一词多义
- 仅考虑局部上下文窗口(通常5-10个词)
- 缺乏对全局文档信息的理解
而RAG(Retrieval-Augmented Generation)中的Embedding是动态的上下文感知表示。以BERT为代表的Transformer架构通过自注意力机制:
- 计算输入序列中所有词元的关联权重
- 生成基于完整上下文的动态表示
- 支持双向上下文编码(传统方法多为单向)
关键区别:传统Embedding是"字典式"的固定映射,RAG Embedding是"情境式"的动态计算
1.2 语义空间构建方式对比
传统方法的语义空间构建:
python复制# 典型Word2Vec训练伪代码
model = Word2Vec(
sentences,
vector_size=300, # 固定维度
window=5, # 局部上下文窗口
min_count=5, # 低频词过滤
workers=4
)
RAG Embedding的语义空间构建(以BERT为例):
python复制from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-uncased')
# 动态生成embedding
outputs = model(
input_ids,
attention_mask=attention_mask, # 处理变长输入
token_type_ids=token_type_ids # 区分句子
)
last_hidden_states = outputs.last_hidden_state # 上下文相关表示
维度对比表:
| 特性 | 传统Embedding | RAG Embedding |
|---|---|---|
| 表示维度 | 固定(如300维) | 动态(如768/1024维) |
| 上下文处理 | 局部窗口 | 全局文档 |
| 一词多义处理 | 不支持 | 支持 |
| 计算复杂度 | O(n) | O(n^2) |
| 预训练方式 | 浅层网络 | 深度Transformer |
1.3 对比损失(Contrastive Loss)的关键作用
RAG Embedding通过对比损失优化语义空间结构:
- 正样本对:语义相似的文本片段
- 负样本对:随机采样或难例挖掘的文本
- 损失函数示例(InfoNCE loss):
math复制其中:L = -\log\frac{e^{sim(q,k^+)/τ}}{e^{sim(q,k^+)/τ} + ∑_{i=1}^N e^{sim(q,k_i^-)/τ}}- q: 查询向量
- k+: 正样本向量
- k-: 负样本向量
- τ: 温度系数
- sim(): 余弦相似度
这种优化方式使得:
- 相似内容在语义空间中距离更近
- 区分细微的语义差异(如"银行利率"vs"河岸坡度")
- 适应下游任务的检索需求
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
