1. 从ResNet到多模态AI：张祥雨的学术轨迹与技术哲学
在人工智能领域，ResNet（残差网络）的诞生堪称深度学习发展史上的分水岭。2015年，当大多数研究者还在为20层以上的神经网络难以训练而苦恼时，一篇题为《Deep Residual Learning for Image Recognition》的论文提出了一个看似简单却革命性的解决方案——残差连接（residual connection）。这个由何恺明、张祥雨等人提出的架构，不仅让神经网络深度突破千层成为可能，更成为后来AlphaGo、AlphaFold乃至ChatGPT等突破性系统的技术基石。
作为这篇里程碑论文的核心作者之一，张祥雨的学术生涯始终围绕着"简单与本质"这一核心理念展开。从西安交通大学的本科生到微软亚洲研究院的博士生，再到旷视科技的基础模型负责人和如今的阶跃星辰首席科学家，他的研究轨迹映射出中国AI学术群体从追随者到引领者的转变过程。
关键洞察：ResNet的成功并非来自复杂的结构设计，而是源于对问题本质的深刻理解。当大多数研究者试图通过复杂的归一化或初始化方案解决深层网络训练难题时，ResNet团队却选择让网络只需学习输入与输出之间的"残差"，这种直指问题核心的思维方式成为张祥雨后续研究的标志性特征。
2. ResNet的技术突破与行业影响
2.1 残差连接的核心创新
在传统神经网络中，每一层都在尝试学习从输入到输出的完整映射。当网络深度增加时，这种映射关系会变得越来越复杂，导致梯度在反向传播过程中要么指数级衰减（梯度消失），要么爆炸式增长（梯度爆炸）。ResNet的创新之处在于：
- 捷径连接（Shortcut Connection）：在每一层引入一个恒等映射路径，允许输入信号"跳过"当前层直接传递到下一层
- 残差学习（Residual Learning）：网络只需学习期望输出与输入之间的差值（残差），而非完整的输出映射
- 梯度高速公路：反向传播时，梯度可以通过捷径连接无损传递，有效缓解了深层网络的训练难题
这种设计使得网络深度可以轻松扩展到100层、1000层甚至更多。在ImageNet竞赛中，152层的ResNet-152以3.57%的错误率刷新了当时的世界纪录，比前一年的冠军模型（22层的GoogLeNet）提升了近40%。
2.2 跨领域的技术辐射
ResNet的影响力很快超越了计算机视觉领域，成为整个深度学习的基础构件：
- AlphaGo Zero：使用ResNet作为策略网络和价值网络的核心架构
- AlphaFold 2：在蛋白质结构预测中采用残差连接处理三维坐标预测
- Transformer模型：BERT、GPT等大语言模型普遍使用残差连接支撑深层注意力机制
- 语音识别：WaveNet等语音生成模型通过残差连接处理长序列依赖
截至2024年，ResNet论文的Google Scholar引用量已突破38万次，是计算机视觉领域被引用次数最多的论文，也是整个AI领域最具影响力的工作之一。这种跨领域的普适性验证了张祥雨和团队当初对问题本质把握的准确性。
3. 从学术研究到工业落地：ShuffleNet与高效模型设计
2017年博士毕业后，张祥雨加入旷视科技，开始将研究方向转向工业场景的实际需求。这一时期，他主导研发的ShuffleNet系列成为移动端视觉处理的标杆架构。
3.1 轻量化设计的核心挑战
在手机、摄像头等边缘设备上部署深度学习模型面临三大挑战：
- 计算资源受限：移动端芯片的算力通常不及服务器的1%
- 内存带宽瓶颈：频繁的内存访问成为性能瓶颈
- 实时性要求：许多应用需要30FPS以上的处理速度
传统解决方案如网络剪枝、量化等虽然能减小模型体积，但往往会损害模型性能。ShuffleNet的创新在于从架构层面重新设计高效的卷积运算。
3.2 关键技术创新点
- 通道混洗（Channel Shuffle）：解决分组卷积带来的信息流通阻塞问题，在不增加计算量的情况下提升特征复用率
- 深度可分离卷积：将标准卷积分解为深度卷积和点卷积两步，计算量降至原来的1/8到1/9
- 瓶颈结构优化：精心设计各层的通道数比例，避免特征压缩导致的信息损失
ShuffleNet V2在ARM芯片上实现了超过40FPS的实时图像分类性能，模型大小仅约5MB，为移动端AI应用开辟了新的可能性。这一工作也体现了张祥雨团队将复杂问题分解为简单要素的能力——正如他们当初处理深度网络训练难题时的思路。
4. 多模态大模型的探索与实践
2023年加入阶跃星辰后，张祥雨的研究重心转向多模态大模型的前沿探索。他提出的DreamLLM架构试图解决当前AI系统中的一个根本性矛盾：理解与生成能力的割裂。
4.1 多模态AI的"内耗"问题
当前主流的多模态模型通常采用以下两种架构：
- 分离式架构：视觉编码器+语言模型的组合（如CLIP）
- 拼接式架构：将视觉和语言模块简单拼接（如Flamingo）
这两种方式都存在明显的局限性：
- 分离式架构无法实现真正的跨模态融合
- 拼接式架构在生成任务上表现欠佳
- 更关键的是，理解能力与生成能力往往相互制约
张祥雨在研究中发现，当试图同时提升模型的图像理解（如分类、检测）和图像生成能力时，经常出现"跷跷板效应"——一方性能的提升以另一方下降为代价。这种现象被他形象地称为多模态AI的"内战"。
4.2 DreamLLM的架构创新
针对这一问题，DreamLLM提出了三项核心创新：
- 统一表示空间：通过跨模态注意力机制，建立视觉与语言特征的共享表示空间
- 动态路由机制：根据任务类型自动分配计算资源，避免理解与生成路径的相互干扰
- 分步推理框架：引入类似语言模型的思维链（Chain-of-Thought）机制，让模型能够分步骤完成复杂生成任务
这种架构使得阶跃星辰的Step-1V模型在多项多模态基准测试中超越了同期发布的Google Gemini 1.0，特别是在图像描述生成和视觉问答等需要理解与生成协同的任务上表现出色。
5. 技术哲学与研究方论
贯穿张祥雨的学术生涯，有三大方法论原则值得每一位AI研究者借鉴：
5.1 原创性：从跟随到引领
在ResNet之前，解决深度网络训练难题的主流思路是改进归一化方法或设计复杂的初始化方案。张祥雨团队选择了一条完全不同的路径——不是让网络更容易训练，而是让网络需要学习的内容变得更简单。这种跳出常规思维的勇气是技术原创性的核心。
5.2 实用性：从论文指标到真实价值
ShuffleNet的设计过程充分体现了实用导向的研发理念。团队没有盲目追求ImageNet上的准确率百分点，而是以ARM芯片上的实际推理速度作为核心指标，这种务实精神使得ShuffleNet在工业界获得了广泛应用。
5.3 本质性：从现象到第一性原理
在多模态研究中，张祥雨没有停留在表面性能提升，而是直指"理解与生成为何难以协同"这一本质问题。这种第一性原理的思考方式，往往能带来突破性的解决方案。
6. 对中国AI研究的启示
张祥雨的学术轨迹为中国AI研究者提供了重要启示：
- 基础研究的长远价值：ResNet作为基础性突破，其价值随时间推移呈指数增长
- 产学研协同的创新模式：从MSRA到旷视再到阶跃星辰，形成了研究-落地-再研究的良性循环
- 年轻学者的成长路径：展示了中国本土培养的科学家如何站上世界舞台
在ChatGPT引发的大模型热潮中，中国AI社区更需要张祥雨这种深耕基础、追求本质的研究精神，而非盲目追逐热点。阶跃星辰在多模态领域的突破，或许正是这种坚持的初步回报。
7. 未来展望：通向AGI的多模态之路
张祥雨目前领导的研究团队正致力于解决多模态AI的若干核心难题：
- 跨模态对齐：如何建立视觉、语言、语音等模态的统一表示
- 世界模型构建：让AI系统形成对物理世界的常识性理解
- 推理与生成协同：实现复杂场景下的多步推理与创造性生成
这些方向的发展将直接影响通用人工智能（AGI）的实现路径。正如ResNet为深层神经网络铺平了道路，DreamLLM等架构可能正在为多模态AGI奠定基础。在这个意义上，张祥雨的研究已不仅关乎技术改进，更关乎人类对智能本质的理解。