孔小哥1. 大模型术语解析的必要性
第一次接触大模型时，我被各种专业术语搞得晕头转向。Token、Embedding、上下文长度这些词反复出现，但官方文档的解释往往过于技术化。经过半年多的实际项目踩坑，我整理了这份真正面向新手的术语解析指南，涵盖了我认为最重要的7个概念。
这份指南特别适合：
- 刚接触AI领域的非技术背景产品经理
- 需要快速理解大模型基础的程序员
- 对AI技术感兴趣但被术语劝退的初学者
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心术语详解
2.1 Token：大模型的语言货币
Token是大模型处理文本的最小单位。英文中通常一个单词就是一个token，而中文则是按字或词划分。比如"人工智能"可能被分成"人工"和"智能"两个token。
关键点：
- 不同模型的分词规则不同（GPT-3使用Byte Pair Encoding）
- 1个中文token≈1.5-2个英文字符
- API计费通常按token数量计算
实际经验：中文内容通常比英文消耗更多token，在预算有限时要特别注意。
2.2 Embedding：文本的数字指纹
Embedding是将文字转换为数值向量的过程。简单理解就是给每个token分配一个独特的"身份证号码"，但这个号码实际上是一个包含数百个维度的向量。
典型应用场景：
- 语义搜索（查询与文档的embedding相似度）
- 文本分类（基于向量距离判断类别）
- 推荐系统（内容相似度匹配）
我常用的embedding模型对比：
| 模型名称 | 向量维度 | 支持语言 | 特点 |
|---|---|---|---|
| text-embedding-ada-002 | 1536 | 多语言 | OpenAI官方模型 |
| BERT-base | 768 | 中文优先 | 本地可部署 |
| m3e-base | 1024 | 中文优化 | 开源免费 |
2.3 上下文长度：模型的"记忆力"
上下文长度决定了大模型能同时处理多少文本。就像人的短期记忆，超过这个长度后，模型就会"忘记"前面的内容。
常见模型的上下文窗口：
- GPT-3.5：4k tokens
- GPT-4：32k tokens
- Claude 3：200k tokens
扩展技