1. 引言：当大语言模型遇上流形优化
在微调大型语言模型（LLM）时，我们常常面临一个两难困境：全参数微调需要消耗巨大的计算资源，而传统的参数高效微调方法（如LoRA）又可能在优化过程中遇到理论瓶颈。最近发表在ICLR 2025 SLLM研讨会上的LoRAM方法，通过将低秩适应（Low-Rank Adaptation）置于黎曼流形（Riemannian manifold）上进行优化，为我们提供了一种新的解决方案。
作为一名长期从事语言模型优化的研究者，我第一次看到LoRAM论文时就被其优雅的数学框架所吸引。不同于主流LoRA方法采用的LR分解参数化，LoRAM直接将优化问题放在固定秩矩阵流形上进行，这不仅解决了传统方法优化景观非光滑的问题，还带来了更快的收敛速度和更好的泛化性能。在本文中，我将带您深入理解这一方法的理论基础和实现细节，并分享我在复现过程中的一些实践经验。
2. LoRA的痛点分析与LoRAM的解决思路
2.1 传统LoRA方法的三大局限
主流LoRA方法通过冻结预训练权重W₀，注入一个低秩更新矩阵W（rank ≤ r）来实现高效微调。其核心是将W参数化为LRᵀ形式，但这种做法存在几个根本性问题：
-
优化景观非光滑性：即使原始损失函数f具有良好的Lipschitz连续性，经过LRᵀ参数化后的复合函数g = f∘φ也会变得"崎岖不平"。这就像在平坦的公路上突然遇到一段碎石路，优化过程变得异常艰难。
-
收敛速度缺乏理论保证：由于缺少局部Polyak-Łojasiewicz (PŁ)条件，传统LoRA无法获得快速的局部收敛保证。在实际训练中，我们常常观察到损失函数在后期震荡不降的现象。
-
表达能力受限：尽管LoRA已经相当高效，但与一些更先进的PEFT方法相比，其在某些任务上仍存在明显的性能差距。这主要是因为LR参数化方式限制了解空间的探索能力。
2.2 LoRAM的革新性思路
LoRAM通过两种不同的流形优化路线解决了上述问题：
-
固定秩流形直接优化（LoRAM-FR）：直接在rank = r的光滑子流形上进行优化，避免了传统方法在rank ≤ r的非光滑集合上"绕弯路"。
-
有界秩集合的去奇异化（LoRAM-BR）：通过数学上的"去奇异化"技巧，将rank ≤ r的集合提升到一个光滑流形上进行优化。
这两种方法都采用了黎曼优化框架，特别是Riemannian Adam算法，在保持与LoRA相当的内存和计算复杂度前提下，获得了更好的理论性质和实际性能。
3. LoRAM-FR：固定秩流形上的直接优化
3.1 数学表示与存储方式
LoRAM-FR的核心思想是将低秩矩阵W表示为紧致SVD形式：
W = USVᵀ，其中：
- U ∈ St(m,r)：m×r的Stiefel流形（列正交矩阵）
- V ∈ St(n,r)：n×r的Stiefel流形
- S ∈ diag(r)：r×r的对角矩阵
这种表示的总存储量约为mr + nr + r²，与传统的LR参数化（存储两个稠密矩阵）处于同一量级。
3.2 自动微分的高效实现
为了避免显式构造完整的梯度矩阵∇f(W)，LoRAM-FR采用了一种巧妙的自动微分策略：
-
构造可训练参数：
- A = US（可训练）
- B = 0（可训练，占位符）
-
前向计算使用：
W = AVᵀ + UBᵀ ≡ USVᵀ -
反向传播后：
- A.grad ≡ ∇f(W)V
- B.grad ≡ ∇f(W)ᵀU
这种方法无需显式构造m×n的梯度矩阵，大大降低了内存消耗。
3.3 Riemannian Adam优化流程
LoRAM-FR的优化过程可以概括为以下几步：
- 计算Riemannian梯度：通过上述自动微分技巧获得梯度分量
- 动量更新：在切空间内进行Adam的一阶和二阶动量更新
- 回缩(Retraction)：将更新后的点投影回流形
- 平行移动(Parallel Transport)：将动量向量搬运到新点的切空间
这个过程类似于在球面上行走：我们首先在当前位置的切平面（切空间）确定前进方向，然后沿着这个方向走一步，最后将这一步"投影"回球面（流形）上。
4. LoRAM-BR：有界秩集合的去奇异化方法
4.1 去奇异化流形的数学构造
LoRAM-BR方法基于Khrulkov & Oseledets提出的去奇异化技术，将rank ≤ r的矩阵集合表示为：
ℳ = {(W,P) ∈ ℝ^{m×n} × Gr(n,n-r) : WP=0}
其中Gr(n,n-r)是Grassmann流形，表示n-r维子空间。这个流形通过投影映射φ(W,P)=W将点映射回原矩阵空间。
4.2 核范数正则化的关键作用
作者发现，在LoRAM-BR中加入核范数（nuclear norm）正则化可以显著提升性能：
g(W) = f(W) + λ||W||_*
其中||W||_* = trace(S)是矩阵W的奇异值之和。这个正则项促使优化过程倾向于更低秩的解，这与我们追求参数效率的目标高度一致。
实现上，核范数的负次梯度方向-λUVᵀ被加入到retraction步骤中，类似于AdamW中的解耦权重衰减。
5. 实验对比与实操建议
5.1 性能对比：LoRAM vs 传统LoRA
在LLaMA3.1-8B上的常识推理任务中，LoRAM展现出明显优势：
| 方法 | 收敛步数 | 最终准确率 | 内存开销 |
|---|---|---|---|
| LoRA | 12k | 78.2% | 1.0x |
| LoRAM-FR | 8k | 80.5% | 1.1x |
| LoRAM-BR | 7k | 81.3% | 1.2x |
可以看到，LoRAM方法不仅收敛更快，最终性能也有显著提升，而内存开销仅略有增加。
5.2 实际应用中的调参经验
基于我的复现经验，以下是一些关键的调参建议：
-
秩的选择：不同于传统LoRA，LoRAM对秩r的选择更为鲁棒。即使较小的r（如4或8）也能获得不错的效果，这得益于更高效的参数利用。
-
学习率设置：由于流形优化的特性，LoRAM通常可以使用比传统LoRA大3-5倍的学习率。建议初始尝试3e-4左右的值。
-
核范数权重λ：对于LoRAM-BR，λ=0.1通常是个不错的起点。太大会导致过度正则化，太小则效果不明显。
-
批量大小：与传统方法不同，LoRAM在小批量（如32-64）下也能稳定训练，这对资源有限的开发者特别友好。
6. 实现细节与常见问题
6.1 高效实现技巧
在实现LoRAM时，以下几个技巧可以显著提升效率：
-
自定义自动微分规则：为USVᵀ形式实现专门的反向传播规则，避免构造完整梯度矩阵。
-
流形操作优化：Retraction和Parallel Transport操作可以利用矩阵的QR分解来稳定实现。
-
混合精度训练：LoRAM特别适合FP16混合精度训练，因为主要的数值敏感操作都发生在低秩空间。
6.2 常见问题排查
-
训练不稳定：
- 检查Retraction的实现是否正确
- 尝试减小Riemannian Adam的动量参数β₁
-
性能不如预期：
- 确认秩r是否足够大
- 检查核范数正则化是否应用正确
-
内存消耗过高：
- 确保没有无意中构造了完整矩阵
- 检查梯度检查点是否正常工作
7. 未来扩展方向
LoRAM方法为大型语言模型的高效微调开辟了新的可能性。在我自己的实验中，尝试将这一框架扩展到以下方向也取得了初步成功：
-
多层共享低秩适应：在不同层间共享部分流形参数，进一步降低内存占用。
-
任务特定子空间：利用Grassmann流形性质，为不同任务学习不同的子空间投影。
-
与其他PEFT方法的结合：例如将LoRAM与AdapterFusion等技术结合，发挥各自优势。
这个领域仍然有许多值得探索的方向，比如如何更好地利用流形几何性质来指导模型适应过程��或者如何将这一框架扩展到其他类型的参数高效微调场景。