1. 大模型推理机制入门:从离散符号到连续空间
作为一名长期从事AI模型优化的工程师,我经常需要向团队新人解释大模型推理的核心机制。今天我们就来彻底拆解这个黑盒子,看看一个简单的文本输入是如何变成连贯输出的。
大模型推理的核心可以概括为"离散→连续→离散"的转换过程。想象你正在教一个完全不懂中文的外国人读中文小说。首先要把汉字(离散符号)转换成他能理解的拼音和解释(连续概念),然后他再把这些理解转换回汉字输出。大模型的工作方式惊人地相似:
- 输入文本被拆解成token(相当于汉字)
- 每个token被映射为高维向量(相当于拼音和解释)
- 模型在这些向量上进行复杂的数学运算
- 最终结果被转换回token序列输出
关键理解:模型实际上从不"理解"文字,它只是在做高维空间中的向量变换。就像那个外国人其实不懂中文,只是掌握了拼音到汉字的映射规则。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Token生成全流程解析
2.1 从文本到向量:Embedding的魔法
当输入"你好世界"时,模型首先进行token化处理。以LLaMA为例:
python复制from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b")
tokens = tokenizer.encode("你好世界") # 输出可能是[1, 1024, 2048]
这个整数列表会通过Embedding层转换为向量矩阵。假设hidden size为4096:
python复制import torch
embedding = torch.nn.Embedding(32000, 4096) # 词表大小32k
input_vectors = embedding(tokens) # 形状[3, 4096]
这个转换过程有几个关键特性:
- 每个token被映射为固定长度的向量
- 相似的token在向量空间中也更接近
- 向量维度越高,表达能力越强(但计算代价也越大)
2.2 Prefill阶段:构建上下文记忆
Prefill阶段就像是在准备考试前的复习阶段。模型需要:
- 并行处理整个输入序列
