数据驱动LQR自适应学习在Matlab中的实现与优化

1. 项目概述：TAC顶刊LQR自适应学习复现

这个项目源自IEEE Transactions on Automatic Control（TAC）期刊的一篇关于数据驱动控制的前沿研究。作为自动控制领域的顶级期刊，TAC论文往往代表着控制理论的最新突破。我最近花了三周时间完整复现了这篇题为《Data-Enabled Policy Optimization for Direct Adaptive Learning of LQR Controllers》的算法，过程中积累了不少实战经验想和大家分享。

LQR（线性二次调节器）是控制理论中的经典方法，但传统实现需要精确的系统模型。这篇论文的创新点在于完全基于数据驱动，通过自适应学习直接优化控制策略，无需预先建模。这种思路特别适合两类场景：一是系统建模困难的复杂被控对象（如柔性机械臂），二是时变系统的在线调节（如无人机在风场中的姿态控制）。

复现使用的Matlab版本为R2021b，需要安装Control System Toolbox和Optimization Toolbox。整个项目包含三个核心模块：数据采集器、策略评估器和策略优化器，下文会具体展开每个模块的实现细节。

提示：虽然论文使用了Python进行实验，但笔者选择Matlab复现是考虑到控制领域工程师更熟悉其仿真环境。两种实现方式的核心算法完全等效。

2. 核心算法解析

2.1 数据驱动的LQR框架

传统LQR需要求解Riccati方程：

code复制P = A'PA - A'PB(R+B'PB)^(-1)B'PA + Q
K = (R+B'PB)^(-1)B'PA

而数据驱动方法绕过了建模步骤，直接通过输入输出数据估计价值函数。其核心是利用Bellman方程：

code复制V(x) = x'Qx + u'Ru + γV(x')

论文提出用二次型函数近似价值函数：

code复制V(x) ≈ x'Px + 2x'v + c

其中P是正定矩阵，v是偏置向量，c是常数项。这种参数化方式保证了价值函数的凸性。

2.2 自适应学习机制

策略优化的自适应体现在两个层面：

1. 数据权重自适应：采用指数衰减权重

   matlab复制w_k = β * w_{k-1} + (1-β) * r_k