1. 大模型输入机制的本质解析
在具身智能领域的大模型架构中,输入处理机制直接决定了模型对物理世界的理解能力。现代大语言模型(如GPT、BERT等)的输入既不是传统NLP中的词向量序列,也不是原始文本的Token序列,而是一个经过多层处理的语义表征体系。这里存在三个关键处理阶段:
-
字节级Token化:原始文本通过BPE等算法被分解为子词单元(Subword Token),例如"running"可能被拆分为"run"+"ning"两个Token。这个过程解决了未登录词(OOV)问题,使模型能处理任意新词。
-
嵌入层转换:每个Token通过查找嵌入矩阵(Embedding Matrix)转换为高维向量。以GPT-3为例,其嵌入维度为12288,这意味着每个Token被映射为一个12288维的稠密向量。
-
位置编码注入:由于Transformer的自注意力机制本身不具备序列顺序感知能力,需要通过正弦位置编码或可学习的位置嵌入(如RoPE)将序列位置信息注入到Token向量中。
关键认知误区:Token本身只是离散的符号索引,真正输入神经网络的是经过嵌入层转换后的连续向量表示。这类似于人类阅读时,文字符号需要先转化为神经电信号才能被大脑处理。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 词向量与Token向量的本质差异
传统NLP的词向量(如Word2Vec)与现代大模型的Token向量存在根本性差异:
| 特性 | 传统词向量 | 大模型Token向量 |
|---|---|---|
| 生成方式 | 静态预训练 | 动态上下文相关 |
| 维度 | 通常300-500维 | 可达12288维(GPT-3) |
| 多义词处理 | 单一表示 | 动态表征(如BERT) |
| 子词处理 | 不支持 | 通过BPE自动 |
