1. 从文本到矩阵:大模型如何理解你的问题
作为一名长期从事AI开发的工程师,我经常被问到:"大模型到底是怎么理解我说的话的?"今天我就用最直白的语言,带你走一遍大模型处理问题的完整流程。
1.1 输入文本的组成结构
当你向ChatGPT提问时,你以为只是发送了一个简单问题,但实际上模型接收到的是一段精心编排的"上下文"。这个上下文通常包含四个关键部分:
- 系统提示词:相当于给AI设定的"人设"。比如"你是个幽默的助手",这些指令会直接影响AI的回答风格
- 工具说明:描述AI可以调用哪些外部功能。比如天气查询、计算器等
- 历史对话:之前的所有问答记录
- 最新问题:你刚刚提出的问题
python复制# 典型API调用示例
messages = [
{"role": "system", "content": "你是个幽默的助手"},
{"role": "user", "content": "你好"},
{"role": "assistant", "content": "你好呀!今天想聊点什么?"},
{"role": "user", "content": "上海天气怎么样"}
]
关键点:每次调用都是独立的!模型能记住对话历史,是因为工程师把之前的对话记录都拼接到新问题前面一起发送。
1.2 文本的数字变身术
文字要变成模型能计算的数字,需要两步魔法:
第一步:分词(Tokenization)
- 把句子拆成最小单元(token)
- 中文通常1-2个字一个token
- 英文可能把"unhappy"拆成"un"+"happy"
- 每个token会被分配一个唯一ID
第二步:嵌入(Embedding)
- 通过训练好的嵌入矩阵,把token ID转换成向量
- 比如"猫"可能变成[0.1, -0.3, ..., 0.8]
- 这些向量能捕捉词语含义:"猫"和"狗"的向量会更接近
最终,一句话就变成了一个数字矩阵,比如20个token × 512维向量 = 20×512的矩阵。
1.3 上下文长度的秘密
所有模型都有长度限制,比如常见的4k、8k、32k tokens。这个限制包含输入和输出的总长度。超出
