1. 近期开源大模型技术演进概览
过去一年中，开源大模型领域涌现出多个具有突破性意义的项目，它们在模型架构、训练方法和应用能力等方面都取得了显著进展。这些模型不仅缩小了与闭源商业模型的差距，更在特定领域展现出独特的优势。本文将深入解析五个具有代表性的开源大模型：MiMo-V2-Flash、DeepSeek-V3.2、QwenLong-L1.5、GLM4.5和Kimi K2，揭示它们的技术创新点和实际应用价值。
这些模型共同呈现出三个重要发展趋势：首先，在模型架构上普遍采用混合专家系统(MoE)设计，通过稀疏激活机制平衡计算成本与模型容量；其次，训练策略更加精细化，多阶段训练和混合强化学习成为标配；最后，在应用能力上，长上下文处理和智能体任务支持成为核心竞争力。特别值得注意的是，这些模型都针对实际部署场景进行了优化，在推理速度和内存占用等方面做出了针对性设计。
2. MiMo-V2-Flash：高效长上下文处理专家
2.1 架构设计与创新点
MiMo-V2-Flash由小米团队于2026年1月开源，其核心创新在于混合注意力机制与MoE架构的巧妙结合。该模型总参数量达到309B，但通过每token仅激活15B参数的稀疏设计，有效控制了计算成本。这种设计特别适合需要处理长上下文的智能体应用场景。
模型的注意力机制采用滑动窗口(SWA)与全局注意力(GA)的混合设计，比例约为5:1。SWA使用128 tokens的局部窗口，显著降低了KV缓存的存储需求。技术报告显示，这种设计带来了接近6倍的注意力计算量削减。为确保长上下文能力不因稀疏注意力而下降，模型引入了可学习的attention sink bias机制，在attention的softmax分母上添加可学习的偏置项，有效缓解了激进滑窗可能带来的性能损失。
2.2 训练策略与性能优化
MiMo-V2-Flash的预训练使用了27T tokens的数据量，上下文长度从初始的32K逐步扩展到256K。这种渐进式扩展策略为模型提供了稳定的长上下文处理基础能力。在后训练阶段，团队开发了创新的MOPD(Multi-Teacher On-Policy Distillation)方法，通过多领域专家模型协同训练提升最终模型的综合能力。
MOPD包含三个关键阶段：通用SFT对齐基础能力、领域专家模型专项训练、以及多教师蒸馏。特别值得注意的是，学生模型同时接收来自多位老师的token级稠密奖励和基于结果的序列级奖励，这种双重监督机制既保证了细粒度策略学习，又确保了最终输出的稳定性。实测表明，这种方法在搜索代理、代码代理、数学推理等多个专业领域都取得了显著效果。
在推理加速方面，MiMo-V2-Flash创新性地将训练时使用的多token预测(MTP)机制复用为推测解码(speculative decoding)的草稿模型。实测数据显示，这种设计可实现最高3.6的接受长度和2.6倍的解码加速，且在不同batch size下都能保持稳定的加速效果。
3. DeepSeek-V3.2：稀疏注意力与强化学习的完美结合
3.1 DeepSeek稀疏注意力(DSA)解析
DeepSeek-V3.2发布于2025年12月，其最突出的技术创新是DeepSeek Sparse Attention(DSA)机制。DSA采用两阶段处理流程：首先通过轻量级Lightning indexer计算query与历史token的相关性分数，然后仅对分数最高的top-k个key-value对进行细粒度注意力计算。这种设计将核心attention复杂度从传统的O(L²)降低到O(L·k)，其中k远小于序列长度L。
DSA的具体实现包含几个关键技术点：相关性分数计算采用ReLU激活的投影向量点积；top-k选择保持因果性约束；整个机制构建在MLA(Multi-head Latent Attention)框架内，与MQA(Multi-Query Attention)兼容以确保计算效率。工程实现上，团队特别优化了FP8量化核函数，使得索引计算能够高效执行。
3.2 训练策略与模型变体
DeepSeek-V3.2基于V3.1-Terminus进行继续训练，上下文长度扩展到128K。后训练阶段采用专家蒸馏与混合强化学习相结合的策略，覆盖写作、编程、数学推理、智能体任务等多个专业领域。特别值得注意的是，团队构建了包含1800+环境和85000+复杂prompts的大规模agentic数据合成系统，为强化学习提供了丰富的训练场景。
除了标准版本外，团队还发布了DeepSeek-V3.2-Speciale变体。这个版本专注于推理能力提升，通过调整训练数据分布和降低length penalty，鼓励模型生成更长的推理过程。虽然token效率有所降低，但在需要复杂推理的任务上表现出色。技术报告坦诚指出，Speciale在某些任务上的表现已经接近顶级闭源模型，但标准版在性价比方面更具优势。
4. QwenLong-L1.5：专精长上下文推理的标杆
4.1 数据合成与训练方法
QwenLong-L1.5基于Qwen3-30B-A3B-Thinking模型，通过系统化的后训练专门优化长上下文处理能力。面对高质量长文本任务数据稀缺的挑战，团队开发了端到端的自动合成流水线，从82,175篇精选长文档(约9.2B tokens)生成多跳推理QA数据。
数据合成采用三种互补策略：知识图谱驱动的多跳推理QA、表格数据驱动的数值推理QA，以及多智能体自演化(MASE)生成的通用长文任务。为确保数据质量，团队设计了两道验证闸门：知识基础检查排除依赖内部知识的样本，上下文鲁棒性检查过滤对干扰敏感的脆弱样本。
4.2 强化学习创新与超长输入处理
在强化学习方面，QwenLong-L1.5采用GRPO算法并引入AEPO(Adaptive Entropy-Controlled Policy Optimization)技术。AEPO通过动态调整熵阈值，在训练不稳定时自动屏蔽负优势样本，有效解决了长上下文RL常见的崩溃问题。消融实验显示，AEPO在基准模型上带来了平均3.29分的提升。
针对超过物理上下文窗口(256K)的超长输入，团队设计了memory management框架，将单次长上下文推理与迭代式记忆更新相结合。通过多阶段融合RL训练，模型学会了在内存受限情况下分块处理信息并维持连贯推理。实测表明，这套方案在4M token级别的超长任务上仍保持可用性，显著推进了开源模型的长上下文处理边界。
5. GLM4.5：ARC能力统一的开源典范
5.1 模型架构与训练策略
GLM4.5系列发布于2025年8月，包含355B参数的完整版和106B参数的Air版本。架构上采用MoE设计，但与其他模型不同的是，GLM4.5选择减少专家数量而增加网络深度，这种设计在实验中显示出对推理能力的特别益处。模型还整合了GQA、partial RoPE、QK-Norm等多种稳定训练的技术，并加入MTP层支持推测解码加速。
训练数据方面，GLM4.5精心策划了23T tokens的多语言语料，特别强调代码和数理科学内容的质量控制。代码数据采用仓库级别的组织方式，保留跨文件依赖关系；数理内容则通过教育价值评分模型进行筛选。中期训练阶段，模型上下文长度从4K逐步扩展到128K，并混入大量合成agent轨迹数据。
5.2 专家融合与统一训练
GLM4.5的后训练采用分阶段专家融合策略。首先分别训练推理专家、智能体专家和通用聊天专家，每个专家都经过SFT和RL两阶段优化。然后通过自蒸馏技术将多专家能力统一到一个模型中，最终形成同时支持thinking mode和non-thinking mode的混合推理通才。
强化学习部分基于GRPO框架，但针对软件工程等专业领域进行了特别优化，包括可执行单测验证和沙盒环境支持。团队还设计了Pathology RL阶段专门修正语言混杂、重复等影响用户体验的问题。评测结��显示，GLM4.5在12个ARC基准测试中平均排名第三，其Air版本也表现出色，展现了良好的参数效率。
6. Kimi K2：面向智能体任务的专业优化
6.1 模型基础与训练稳定性
Kimi K2由Moonshot AI于2025年7月发布，是专注于智能体能力的1T参数MoE模型。在预训练阶段，团队开发了MuonClip优化器，通过QK-Clip技术解决训练不稳定问题。与常规的logits截断不同，QK-Clip直接在query/key投影权重上施加约束，从源头控制attention计算的数值范围。
训练过程使用15.5T tokens数据，保持零loss spike的记录。技术报告详细公开了训练超参：4096的初始上下文窗口、WSD学习率策略、67M tokens的全局batch size等。这种透明性为社区研究大规模训练提供了宝贵参考。
6.2 Agentic数据合成与强化学习
针对智能体任务数据稀缺的问题，Kimi K2团队构建了规模化合成流水线，包含工具规范生成、代理任务生成和轨迹生成过滤三个阶段。系统整合了3000多个真实MCP工具和20000多个合成工具，形成丰富的训练环境。
强化学习采用RLVR(可验证奖励)与自我批判量表奖励相结合的策略。后者让模型根据预设rubric对自己的输出进行比较评分，生成针对helpfulness、creativity等主观维度的偏好信号。为平衡探索与效率，系统还引入了token预算控制、PTX防遗忘辅助损失等工程优化，形成了一套完整的智能体训练解决方案。