1. 从文本到向量:Embedding的本质解析
在自然语言处理领域,我们常常需要处理"计算机不懂人类语言"这个根本矛盾。想象一下,当你对朋友说"帮我找家好吃的川菜馆",朋友能立即理解你要的是辣味中餐、人均消费适中的就餐场所。但计算机看到的只是一串字符编码,这就是Embedding技术要解决的核心问题。
1.1 语义空间的数学表达
Embedding的本质是构建一个语义空间(Semantic Space),这个空间中的每个点都对应着特定的语义含义。以三维空间为例:
- "川菜"可能位于坐标[0.8, 0.6, 0.1]
- "火锅"在[0.7, 0.5, 0.2]
- "粤菜"则在[0.3, 0.2, 0.9]
这种表示方式带来了几个关键优势:
- 语义距离可计算:通过余弦相似度等度量方法,可以量化"川菜"与"火锅"的相似度(约0.98)远高于"川菜"与"粤菜"的相似度(约0.45)
- 特征组合可能:向量加减可以产生有意义的语义操作,如"北京"-"中国"+"法国"≈"巴黎"
- 降维处理:实际应用中通常使用768或1024维向量,比原始文本的one-hot编码高效得多
技术细节:现代Embedding模型通常采用Transformer架构,通过自注意力机制捕获上下文信息。以BERT为例,其最后一层隐藏状态的均值或[CLS]标记常被用作句子级Embedding。
1.2 从Word2Vec到现代Embedding
Embedding技术的发展经历了几个重要阶段:
| 模型类型 | 代表模型 | 核心特点 | 典型维度 |
|---|---|---|---|
| 静态词向量 | Word2Vec/GloVe | 词级固定表示 | 300维 |
| 上下文相关 | ELMo | 双向LSTM捕获上下文 | 1024维 |
| 动态编码 | BERT | 深度双向Transformer | 768/1024维 |
| 大规模模型 | GPT-3 Embedding | 生成式预训练 | 12288维 |
在实际应用中,选择Embedding模型需要考虑:
- 领域适配性:通用领域可用text-embedding-ada-002,生物医学适合B
