1. 大语言模型入门:从条件概率到温度参数
作为一名在AI领域摸爬滚打多年的技术老兵,我经常被问到:"大语言模型到底是怎么工作的?"今天,我就用最接地气的方式,带大家从零开始理解LLM(大语言模型)的核心逻辑。别被"模型""算法"这些词吓到,其实它们的底层原理比你想象的要简单得多。
我们先从一个日常场景说起:当你用手机输入法打字时,它总能预测你接下来要输入什么词。这种预测能力,本质上就是大语言模型的简化版。而支撑这种预测能力的数学基础,就是我们今天要重点讲解的"条件概率"。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 条件概率:LLM的数学基石
2.1 生活中的条件概率
想象你正在和同事聊天:
- 同事说:"我昨天去看了..."
- 你会自然地猜测他接下来要说"电影"还是"医生"
这种猜测就是基于条件概率的直觉判断。在数学上,我们表示为P(电影|去看了)和P(医生|去看了)。哪个概率更高?显然在大多数情况下,"电影"的概率会更高。
再举个更具体的例子:假设办公室有14个人,他们的运动喜好如下:
- 5人只喜欢网球
- 4人只喜欢足球
- 2人两项运动都喜欢
- 3人都不喜欢
如果有人告诉你:"小王喜欢网球",那么他同时喜欢足球的概率是多少?这就是一个典型的条件概率问题。
2.2 条件概率的数学表达
条件概率的公式是:
P(A|B) = P(A∩B) / P(B)
用上面的例子:
P(足球|网球) = P(足球∩网球) / P(网球) = (2/14) / (7/14) = 2/7 ≈ 28.6%
这个计算过程展示了如何量化我们的直觉判断。在大语言模型中,类似的概率计算会发生在每个词的预测上,只是规模要大得多。
3. LLM如何运用条件概率
3.1 预测下一个词
大语言模型的核心任务可以用一句话概括:给定前面的所有词,预测下一个最可能的词。这本质上就是一个条件概率问题。
举个例子:
输入:"人工智能是"
模型会计算:
P(未来|人工智能是)
P(技术|人工智能是)
P(危险|人工智能是)
...
然后选择概率最高的词作为输出。
3.2 上下文窗口
现代LLM的厉害之处在于它们能处理很长的上下文。比如GPT-4的上下文窗口能达到32k tokens(约2.4万英文单词)。这意味着它可以基于很长的前文来预测下一个词,大大提高
