1. 大模型的语言基础：从符号到统计的演进
2008年我在一家NLP初创公司第一次接触统计语言模型时，团队还在用n-gram处理搜索引擎查询建议。当时用500万条搜索日志训练的3-gram模型，在测试集上的困惑度(Perplexity)高达247。而今天随便一个开源LLM的验证集困惑度都能轻松降到20以下——这个对比直观展现了语言建模技术的跃迁。
大模型的语言基础本质上要解决三个核心问题：
- 如何用数学形式化表示语言（词向量、位置编码）
- 如何建模语言单元间的概率关系（自注意力、MLP）
- 如何评估模型的语言能力（困惑度、BLEU、ROUGE）
2. 词向量：语言的地基工程
2.1 从one-hot到分布式表示
2013年Word2vec的横空出世彻底改变了NLP的特征工程方式。我在电商评论情感分析项目中做过对比实验：
- 传统TF-IDF + SVM准确率82.3%
- 300维Word2vec + LSTM准确率89.1%
关键突破在于分布式表示能捕捉到"国王-男人+女人≈女王"这样的语义关系。不过现在大模型都改用BPE(Byte Pair Encoding)这类子词切分方案了，我在处理德语复合词时发现BPE的OOV(未登录词)率比Word2vec低63%。
2.2 位置编码的玄机
Transformer的位置编码有太多实现细节值得深挖。去年复现ALBERT时发现：
- 原始论文的sin/cos编码在512长度后开始失效
- 可学习的位置嵌入在短文本表现更好
- RoPE(Rotary Position Embedding)在长文档任务中PPL降低15%
建议用这段代码验证不同位置编码的效果：
python复制import torch
from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-uncased')
pos_emb = model.embeddings.position_embeddings.weight
plt.matshow(pos_emb.detach().numpy()[:100])
3. 概率建模：从马尔可夫到自注意力
3.1 n-gram的局限性
在智能客服项目中，5-gram模型遇到"请问如何__"这样的query时：
- 训练集中"重置密码"出现200次
- "修改资料"出现180次
但实际场景中用户可能想问"请问如何注销账号"(训练集仅出现3次)，这时n-gram就完全失效了。
3.2 注意力机制的变革
Transformer的注意力头就像多个并行的"语义探针"。通过可视化中间层注意力权重，我发现：
- 下层头更多关注语法结构(如动词-宾语关系)
- 上层头开始捕捉篇章级指代(如代词关联)
- 某些头专门负责否定词作用域("不"影响的范围)
这种分工在医疗文本分析中特别有用，能准确识别"排除XX疾病"这样的关键信息。
4. 评估体系：超越准确率的维度
4.1 困惑度的陷阱
在金融风控场景测试时，GPT-3的困惑度明明比BERT低30%，但实际业务指标却更差。后来发现：
- 困惑度对高频词更敏感
- 但风控关键术语多是低频词
- 需要额外设计领域特定的评估指标
4.2 人类评估的必选项
我们设计了一套对话系统评估方案：
- 流畅度(1-5分)：是否存在语法错误
- 相关性(1-5分)：是否答非所问
- 安全性(一票否决)：是否包含风险内容
每次发版前必须通过200组人工盲测，比自动指标可靠得多
5. 实战中的经验之谈
- 处理中文时一定要检查分词器：
- BERT原生分词器会把"云计算"切成"云 计算"
- 需要手动添加专业术语到vocab.txt
-
长文本处理记住这个公式：
最大长度 = 显存(MB)/(d_model×batch_size×8×层数×安全系数0.7) -
微调时学习率要分段设置：
- 前3轮：1e-5 ( warmup )
- 4-10轮：3e-5
- 后期：1e-6
- 遇到OOM错误时先尝试：
- 梯度累积(accum_steps=4)
- 激活检查点(gradient_checkpointing=True)
- 混合精度(fp16=True)