1. 项目概述:SPM模型的核心创新
在3D点云处理领域,传统Transformer架构面临两大痛点:一是O(N²)的平方复杂度导致计算资源消耗巨大,二是常规神经网络的高能耗特性难以满足边缘设备部署需求。ICCV 2025发表的SPM(Spiking Point Mamba)模型通过将脉冲神经网络(SNN)与状态空间模型(Mamba)创新性结合,实现了精度与能效的双突破。
关键突破点:传统点云Transformer如Point Transformer在ScanObjectNN数据集上单次推理能耗高达18.9mJ,而SPM仅需1.5mJ,能效提升12.6倍。
模型设计哲学体现为三个层面的协同:
- 空间建模:采用Mamba的SSM(State Space Model)机制处理点云几何结构,通过线性复杂度扫描序列解决传统注意力机制的计算瓶颈
- 时序动态:利用SNN的脉冲发放特性捕捉动态特征,将稠密乘法运算转化为稀疏加法
- 维度解耦:独创HDE编码将点云数据分解为空间(M)和时间(T)两个正交维度,分别交由不同模块处理
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 核心技术解析
2.1 脉冲神经元数学建模
SPM采用改进版LIF(Leaky Integrate-and-Fire)神经元,其离散化动力学方程包含三个关键阶段:
-
膜电位积分:
math复制H_t = τV_{t-1} + X_t其中τ=0.5为衰减因子(论文消融实验确定的最佳值),实现膜电子的"记忆衰减"效应
-
脉冲发放:
math复制S_t = Θ(H_t - V_{th})使用阶跃函数实现事件驱动,V_th=1.0为经验阈值,超过阈值时发放脉冲(S_t=1)
-
电位重置:
math复制V_t = H_t(1-S_t) + V_rS_t重置电压V_r=0确保脉冲发放后神经元立即进入不应期
实测发现:将τ设置为可学习参数(范围0.3-0.7)可使模型适应不同数据集的时间尺度特性
2.2 能耗优化原理
传统ANN的能耗主要来自32位浮点乘法累加(MAC):
- 1次FP32 MAC ≈ 4.6pJ
- 1次FP32加
