双曲空间与语言模型：HypLoRA的创新与应用

1. 双曲空间与语言模型的天然契合性

大型语言模型（LLM）的嵌入空间一直默认使用欧几里得几何结构，但越来越多的证据表明这并非最优选择。语言数据本质上具有层级结构特性——从抽象概念到具体实例的树状嵌套关系，这正是双曲空间的天然优势所在。

我在实际模型分析中发现，高频词（如"动物"）和低频词（如"鸭嘴兽"）在嵌入空间中的分布呈现明显的幂律特征。通过计算δ-双曲度，多个开源模型的嵌入空间都显示出显著的双曲特性（δ值普遍小于2），这意味着传统欧氏空间实际上在强行"压平"语言固有的树状结构。

关键发现：当测量LLaMA-2 7B模型的嵌入空间时，抽象概念与具体实例之间的测地线距离比欧氏距离更能反映语义层级关系。例如"生物-动物-哺乳动物"路径在双曲空间中呈现清晰的层级递进。

2. HypLoRA方法设计精要

2.1 传统双曲神经网络的局限

早期双曲神经网络需要频繁进行指数映射（exp_map）和对数映射（log_map），这不仅带来大量计算开销，更严重的是在微调过程中会产生梯度抵消效应。我在复现HNN模型时就发现，当微调步数超过500时，参数更新会出现明显的振荡现象。

2.2 双曲低秩适配的创新实现

HypLoRA的核心突破在于将LoRA的低秩思想扩展到双曲空间。具体实现包含三个关键设计：

1. 双曲投影层：将预训练好的欧氏嵌入通过Möbius变换投影到双曲空间，保持初始语义信息不变。这里采用κ=-1的洛伦兹模型，其距离函数为：

   math复制d(x,y) = \text{arcosh}(-⟨x,y⟩_L)
   

   其中洛伦兹内积⟨x,y⟩_L = -x_0y_0 + ∑x_iy_i

2. 流形感知的秩分解：在切空间进行低秩矩阵分解后，通过指数映射投影回流形。与传统LoRA不同，我们约束更新矩阵满足：

   python复制ΔW = exp_0(U @ V.T)  # U,V为低秩矩阵
   

   这保证了参数更新始终位于双曲流形上。

3. 梯度重参数化：采用RSGD优化器，将欧氏梯度投影到黎曼梯度：

   python复制grad_R = (I - x@x.T) * grad_E  # 保持梯度在切空间
   

3. 实验设置与