1. 大模型的本质:超级输入法的真相
第一次接触ChatGPT时,我和大多数人一样,以为它是个"会思考的机器人"。直到去年调试Llama3的推理过程时,看到控制台不断输出的token序列,才恍然大悟——这不过是个极其复杂的"文字接龙游戏"。
1.1 从输入法看预测本质
打开手机输入法,输入"人工智能是",候选词大概率会出现"未来"、"趋势"、"领域"等词汇。这种预测基于什么?是统计语言模型对海量用户输入数据的概率计算。大模型(LLM)的底层逻辑与此完全相同,只是规模大了几个数量级。
关键区别在于:
- 普通输入法:基于n-gram等简单统计模型,仅考虑前2-3个词
- 大语言模型:基于Transformer架构,可捕捉数千个token的上下文关系
1.2 概率预测的数学本质
大模型的核心是一个概率函数:P(token|context)。以"1+1="为例:
- 在训练数据中,"1+1=2"出现频次远高于其他组合
- 模型参数会使得P("2"|"1+1=")接近1
- 输出时选择概率最高的token(贪婪搜索)或按概率采样(随机性回答)
这种机制解释了为什么模型能"正确"回答常识问题——不是因为它理解数学,而是因为它记住了常见模式。
实测发现:当询问"1587+2691="时,GPT-4正确率约65%,而专门的计算器程序正确率100%。这种差异正是预测模式与真实计算的区别。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 对话能力的魔术:后训练的奥秘
2.1 对话格式的驯化过程
原始预训练模型确实只能做文本补全。要让其具备对话能力,需要经过关键的后训练(Post-training)阶段:
- 收集数千万条对话数据,格式为:
code复制用户: 你好
助手: 你好!有什么可以帮您?<|endoftext|>
- 在这些数据上继续训练,让模型学会:
- 识别对话轮次
- 模仿助手语气
- 自动终止生成(输出停止符)
2.2 特殊token的魔法
查看Llama3的tokenizer会发现这些特殊标记:
<|begin_of_text|>:对话开始<|start_header_id|>:角色标识<|eot_id|>:轮次结束
这些token就像舞台剧的场记板,告诉模型现在该扮演什么角色
