1. DeepSeek模型架构概述
DeepSeek是深度求索公司推出的一系列创新型大语言模型架构的总称。这个系列包含了三个主要分支:通用大语言模型DeepSeek v3、推理专用大模型DeepSeek R1,以及基于R1模型通过知识蒸馏得到的小型模型群。这些模型在架构设计、训练方法和推理优化等方面都有显著创新,特别是在降低计算成本和提高推理效率方面表现突出。
1.1 模型家族关系解析
DeepSeek v3作为基础模型,采用了多项创新技术:
- 潜在注意力机制(MLA):优化了传统的KV缓存机制
- 改进的MoE架构:实现了无负载均衡的专家混合
- FP8混合精度训练:显著降低训练成本
- MTP多token预测损失:提升训练效率
- DualPipe改进的管道并行机制:优化分布式训练
DeepSeek R1则是在v3基础上专门优化的推理模型,其创新点在于:
- 多阶段强化学习训练流程
- 采用GRPO这一新型强化学习算法
- 突破了传统的"预训练+微调"范式
蒸馏模型则是将R1的强大推理能力迁移到更小规模的模型上,使得在资源受限环境下也能获得不错的推理性能。
1.2 核心架构参数
DeepSeek v3提供了三种不同规模的模型配置:
| 参数名称 | 描述 | 16B模型 | 236B模型 | 671B模型 |
|---|---|---|---|---|
| vocab_size | 词汇表大小 | 102400 | 102400 | 129280 |
| dim | 词向量维度 | 2024 | 5120 | 7168 |
| n_layers | Transformer层数 | 27 | 60 | 61 |
| n_heads | 注意力头数 | 16 | 128 | 128 |
| n_routed_experts | MoE专家总数 | 64 | 160 | 256 |
| n_activated_experts | 每个token激活的专家数 | 6 | 6 | 8 |
这些参数设计体现了DeepSeek在模型扩展性方面的考量,特别是MoE相关参数的设置,为后续的专家混合机制优化奠定了基础。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
