PMSM速度伺服系统的强化学习与LQR复合控制方案

1. 项目概述：PMSM速度伺服系统的控制挑战

永磁同步电机（PMSM）作为高精度运动控制的核心执行元件，在工业机器人、数控机床等场景中广泛应用。传统PID控制在面对参数变化、负载扰动等复杂工况时，往往难以兼顾动态响应与稳态精度。我们团队最近复现的这篇论文，创新性地将强化学习（RL）与线性二次调节器（LQR）相结合，为PMSM速度伺服系统提供了一种自适应最优控制方案。

这个方案最吸引我的地方在于：它既保留了LQR在确定性系统中的数学最优性，又通过RL在线学习补偿了模型失配带来的性能损失。实测表明，在负载惯量突变30%的工况下，该方法的转速波动比传统PID减小了62%，且无需重新整定参数。

2. 核心原理拆解

2.1 PMSM数学模型构建

建立准确的电机模型是控制算法设计的基础。在dq旋转坐标系下，PMSM的电压方程可表示为：

code复制v_q = R_s*i_q + L_q*di_q/dt + ω_e*(L_d*i_d + λ_f)
v_d = R_s*i_d + L_d*di_d/dt - ω_e*L_q*i_q

其中λ_f为永磁体磁链，ω_e为电角速度。机械运动方程则为：

code复制J*dω_m/dt + B*ω_m = T_e - T_L
T_e = 3/2*p*(λ_f*i_q + (L_d - L_q)*i_d*i_q)

注意：实际项目中需通过电机参数辨识获取准确的Ld、Lq、λ_f等参数，我们使用最小二乘法离线辨识的误差控制在5%以内。

2.2 LQR控制器设计

LQR的核心是求解Riccati方程得到最优反馈矩阵K。代价函数设计为：

code复制J = ∫(x'Qx + u'Ru)dt

其中状态变量x=[ω_err, ∫ω_err, i_q]，控制量u=v_q。经过Bryson规则归一化后，我们设置的权重矩阵：

code复制Q = diag([1, 0.1, 0.01])  
R = 0.001

通过MATLAB的lqr函数求解得到：

code复制K = [15.8, 3.16, 0.0316]

2.3 强化学习补偿器

论文采用TD3算法构建RL补偿器，其网络结构如图2所示。关键设计点包括：

1. 状态空间：选取[ω_err, dω/dt, i_q, i_d, v_q_history]
2. 动作空间：输出LQR参考电流的补偿量Δi_q_ref
3. 奖励函数：

   code复制r = -（10*ω_err² + 0.1*i_q² + 0.01*Δi_q²）
   

我们在Simulink中搭建的训练环境采用OU噪声探索，初始探索噪声设为0.5，随训练轮次线性衰减。

3. 实现细节与工程调优

3.1 硬件平台搭建

实验采用TMS320F28379D DSP作为主控，关键硬件配置：

实操技巧：PCB布局时需将电流采样电路靠近电机端子，我们采用Kelvin连接方式将采样误差控制在0.5%以内。

3.2 软件实现流程

1. 中断服务程序（20kHz）：

   c复制void EPWM1_ISR(void) {
       ADC_ReadCurrents();  // 同步采样三相电流
       ClarkParkTransform(); // 坐标变换
       SpeedObserver();      // 滑模观测器估算转速
       RL_LQR_Controller();  // 复合控制算法
       SVGen();              // 空间矢量调制
       PWM_Update();         // 更新占空比
   }
   

2. 关键RL推理代码（Python封装）：

   python复制class TD3Policy:
       def __init__(self, model_path):
           self.actor = load_model(model_path)
           self.last_action = 0
           
       def decide(self, state):
           state = np.clip(state, -3, 3)  # 输入归一化
           action = self.actor.predict(state[np.newaxis])[0]
           action = 0.9*self.last_action + 0.1*action  # 平滑滤波
           self.last_action = action
           return action * 0.2  # 限制输出范围
   

3.3 参数整定经验

通过大量实验总结的调参规律：

1. LQR权重调整：

   • 增大Q[0]：加快转速响应，但可能引起超调
   • 增大Q[1]：消除稳态误差，但动态变慢
   • 减小R：增强控制力度，但可能激发机械谐振

2. RL训练技巧：

   • 初始阶段设置较大的速度误差权重（建议10→20）
   • 在80%训练进度时加入0.1倍的dω/dt惩罚项
   • 采用课程学习（Curriculum Learning）逐步增大负载扰动幅度

4. 实测性能对比

在0.5Nm阶跃负载下的测试数据：

特别在带锯负载测试中（周期性转矩波动），RL补偿器展现出显著优势。如图5所示，传统LQR的转速波动幅值达±15rpm，而复合控制方案将其抑制在±3rpm以内。

5. 常见问题排查

5.1 高频振荡问题

现象：电机运行时伴随高频啸叫

• 检查1：PWM死区时间是否足够（建议≥500ns）
• 检查2：电流采样是否同步于PWM中点
• 检查3：RL动作输出是否添加了低通滤波

5.2 训练不收敛

解决方案：

1. 增加状态观测维度（如加入q轴电压历史值）
2. 调整奖励函数中各项权重比例
3. 验证仿真模型与实际系统的匹配度

5.3 实时性不足

优化方向：

• 将RL网络转换为定点数模型（我们使用TensorRT优化后推理时间从1.2ms降至0.3ms）
• 采用双缓冲机制更新控制参数
• 降低控制频率至10kHz（需重新训练RL模型）

这个项目给我最深的体会是：理论上的最优控制需要结合实际工程约束。比如我们发现RL补偿器的输出限幅值对稳定性影响极大，最终通过实验确定为额定电流的15%时效果最佳。建议同行们在复现时，先用仿真验证算法可行性，再逐步移植到物理系统。