李管春1. 从语义理解到向量空间：Embedding的本质解析
在自然语言处理领域，计算机如何理解"国王"与"王后"的关系？传统方法需要人工编写大量规则，而现代AI通过Embedding技术自动捕捉这种语义关联。想象一下，如果给每个单词分配一个独特的身份证号码，这种编码方式无法表达任何关系。但如果我们把这些单词放置在一个精心设计的坐标系中，让语义相关的词汇自动聚集，这就是Embedding的核心思想。
Embedding本质上是一种将离散符号（如单词、句子）映射到连续向量空间的数学表示方法。这个高维空间（通常有数百到数千个维度）中的几何关系直接反映了原始数据的语义关系。当我说"king - man + woman ≈ queen"时，这不仅仅是文字游戏，而是在向量空间中真实存在的数学关系——从king的向量位置出发，减去man的方向向量，再加上woman的方向向量，最终到达的位置与queen的向量位置非常接近。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Embedding的两种主要类型与技术实现
2.1 密集嵌入(Dense Embedding)的运作机制
密集嵌入是目前最主流的嵌入方式，以BERT、GPT等Transformer模型为代表。当这些模型处理文本时，会经历以下关键步骤：
- 输入文本首先被分词(tokenization)成单词或子词单元
- 每个token被转换为初始的嵌入向量(通常为768或1024维)
- 通过多层自注意力机制，模型根据上下文调整每个token的向量表示
- 最终输出的每个token向量都包含了丰富的语义信息
以开源的BAAI/bge-base-en-v1.5模型为例，它生成的每个向量包含768个浮点数。这些数字不是随机的——在训练过程中，模型通过海量文本学习到如何组织这个向量空间，使得语义相似的短语在空间中距离相近。例如，"机器学习"和"深度学习"的向量夹角可能只有15度，而它们与"篮球"的夹角可能达到75度。
2.2 稀疏嵌入(Sparse Embedding)的独特价值
与密集嵌入不同，稀疏嵌入向量具有以下特点：
- 维度极高（通常数万到数百万维）
- 绝大多数维度值为零
- 非零维度对应特定词汇或短语的存在
稀疏嵌入的一个典型应用是TF-IDF（词频-逆文档频率）加权模型。假设我们有一个包含5万个单词的词典，那