NLP到LLM：Transformer架构与预训练技术演进

1. 从NLP到LLM的技术演进脉络

自然语言处理（NLP）技术在过去十年经历了三次重大范式转移：从早期的规则系统到统计机器学习，再到深度学习主导的神经网络时代。2020年后出现的LLM（Large Language Model）标志着第四代技术范式的确立。这种演进不是简单的模型规模扩大，而是实现了三个关键突破：

• 上下文理解从局部窗口扩展到长程依赖（Transformer架构）
• 训练目标从有监督微调转变为自监督预训练（GPT范式）
• 模型能力从单一任务扩展到涌现能力（Emergent Abilities）

2. Transformer架构深度解析

2.1 自注意力机制实现原理

Transformer的核心是缩放点积注意力公式：

code复制Attention(Q,K,V) = softmax(QK^T/√d_k)V

其中查询矩阵Q、键矩阵K和值矩阵V的维度d_k控制注意力分布的尖锐程度。实际实现时会采用多头注意力，典型配置如下：

实践建议：当显存不足时，可优先减少头数而非隐层维度，因为模型对后者更敏感

2.2 位置编码的工程实现

绝对位置编码的原始公式：

code复制PE(pos,2i) = sin(pos/10000^(2i/d_model))
PE(pos,2i+1) = cos(pos/10000^(2i/d_model))

现代LLM更常使用以下改进方案：

1. 旋转位置编码（RoPE）
2. 相对位置偏置（ALiBi）
3. 可学习的位置嵌入

实测表明，RoPE在长文本任务中表现最优，以下是PyTorch实现片段：

python复制class RotaryEmbedding(nn.Module):
    def __init__(self, dim):
        super().__init__()
        inv_freq = 1.0 / (10000