淘房记1. 从词语接龙到通用智能：大语言模型的进化之路
1990年，贝尔实验室的科学家们正在尝试解决一个看似简单的问题：如何让计算机预测下一个单词。当时的统计语言模型（n-gram）就像是一个记忆力有限的成语接龙玩家——它只能记住前几个词，然后根据频率表猜测下一个词。这种方法的局限性显而易见：当遇到"我想吃__"这样的句子时，它可能会给出"饭"或"苹果"这样合理的预测，但对于更复杂的上下文就无能为力了。
三十年后的今天，GPT-4不仅能流畅地完成这个任务，还能写代码、诊断疾病、甚至进行哲学讨论。这种跨越是如何实现的？让我们从技术演进的底层逻辑开始剖析。
1.1 统计语言模型的困境与突破
早期的n-gram模型面临着"维数灾难"（Curse of Dimensionality）的严峻挑战。如果要考虑前4个词来预测第5个词，对于一个2万词的词汇表，可能的组合数量高达16万亿（20,000^4）。这就像要求一个人记住所有可能的五词组合——不仅不现实，而且毫无意义，因为大多数组合从未在真实语言中出现过。
为了解决这个问题，研究者们开发了各种平滑技术：
- 古德-图灵估计（Good-Turing Estimation）：重新分配罕见事件的概率
- 回退（Back-off）和插值（Interpolation）：组合不同阶数的n-gram
- 基于类的语言模型：将词语按语义分类
但这些方法本质上都是在用数学技巧弥补数据稀疏性，无法真正理解语言的含义。转折点出现在2003年，Yoshua Bengio团队提出的神经概率语言模型（Neural Probabilistic Language Model）引入了词嵌入（Word Embedding）的概念，将词语表示为稠密的实数向量，使得语义相似的词在向量空间中距离相近。
关键突破：词嵌入技术让模型首次能够捕捉词语之间的语义关系，而不仅仅是表面共现统计。
1.2 Transformer革命：注意力机制改变一切
2017年，Google发表的《Attention Is All You Need》论文彻底改变了游戏规则。Transformer架构中的自注意力机制（Self-Attention）允许模型动态地关注输入序列的不同部分，解决了传统RNN/CNN在处理长距离依赖时的局限性。
自注意力的计算过程可