1. 大模型(LLM)的核心工作机制解析
大语言模型(LLM)的工作原理可以用一个简单的例子来理解:当你在输入法里输入"今天天气真",它会自动建议"好"——大模型做的事情本质上类似,但规模要大得多。它看的不是前面几个字,而是前面几千甚至几十万个字(Token),每次只预测并生成一个Token,然后把刚生成的内容也加入上下文,再预测下一个,如此循环直到生成完整回答。
这个技术过程叫做自回归生成(Autoregressive Generation),是现代LLM的核心工作机制。理解这一点后,我们就能拆解几个关键概念:
- Token:模型每一步生成的最小文本单位
- 上下文窗口:模型单次处理的最大文本量
- Temperature/Top-p:控制生成多样性的参数
- Max Tokens:允许模型生成的最大Token数
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. Token:模型的"语言积木"
2.1 Token的本质与计算方式
Token是LLM处理文本的基本单位,可以理解为模型的"语言积木"。与我们人类按字或词阅读不同,模型使用专门的Tokenizer将文本切分成大小不等的Token。这种设计需要在"词表大小"和"序列长度"之间取得平衡:
- 按字切分:词表小但序列长
- 按词切分:序列短但词表爆炸
- 折中方案:子词切分算法(如BPE、Unigram)
实际应用中,Token的划分相当灵活:
- 英文单词可能被拆成多个Token
- 中文词语可能被合并或拆分
- 高频词通常保留为整体Token
- 低频词会被拆成更小的子词
2.2 Token的工程实践考量
在工程实现上,Token的处理有几个关键点:
-
估算规则:
- 英文:1 Token ≈ 3-4字符
- 中文:1 Token ≈ 1-2汉字
- 实际压缩比因文本类型而异
-
特殊Token:
- BOS(序列开始)
- EOS(序列结束)
- PAD(填充)
- 工具调用标记
-
多模态Token:
- 图片也会被转换为Token
- 不同模型对图片Token的计算方式不同
提示:Token成本与编码器版本强相关,新模型通常对中文有更好的压缩率。在做成本预算时,务必查阅当前模型版本的官方Tokenizer数据。
3. 上下文窗口:模型的"工作记忆"
3.1 上下文窗口的核心价值
上下文窗口(Context Window)决定了LLM单次能处理的文本量,是极其宝贵的资源。它影响两大关键能力:
- 对话连续性:保持多轮对话不遗忘早期细节
- 单次处理能力:处理长文档、代码库的能力
常见的上下文窗口大小从4K到1M不等,但实际可用空间往往小于标称值,因
