数据驱动的LQR控制：DeePO算法原理与MATLAB实现

1. 项目概述

在控制工程领域，线性二次调节器（LQR）一直是最经典且广泛应用的控制器设计方法之一。传统LQR设计需要精确的系统数学模型作为基础，通过求解黎卡提方程来获得最优控制增益。然而，实际工程中常常遇到这样的情况：系统过于复杂难以建模，或者系统参数会随时间变化导致模型失效。这就引出了一个核心问题——能否绕过建模环节，直接从系统运行数据中学习最优控制策略？

这正是我们今天要深入探讨的数据驱动策略优化（DeePO）算法。作为一名在控制领域工作多年的工程师，我亲历过太多因模型不准确导致控制性能下降的案例。DeePO方法的出现，为解决这一痛点提供了全新思路。它不需要预先知道系统模型，仅通过在线采集的系统输入输出数据，就能实时调整控制器参数，逐步逼近最优控制效果。

2. 核心原理与技术路线

2.1 LQR问题标准表述

在经典LQR框架下，我们考虑离散时间线性系统：
x_{k+1} = Ax_k + Bu_k
其中x∈R^n为状态向量，u∈R^m为控制输入，A和B是相应维度的系统矩阵。LQR的目标是最小化无限时域代价函数：
J = Σ(x_k^T Qx_k + u_k^T Ru_k)
其中Q和R是设计者选定的正定权重矩阵。

传统解法需要先辨识A和B矩阵，然后求解离散代数黎卡提方程（DARE）获得最优控制律u_k = -Kx_k。而DeePO的创新之处在于，它完全跳过了系统辨识这一步。

2.2 数据驱动的参数化方法

DeePO算法的核心在于对控制策略的巧妙参数化。它将控制增益K表示为：
K = U(X^T X)^-1 X^T
其中X和U分别是状态和控制输入的Hankel矩阵，由历史数据构建而成。这种表示方式的关键优势在于：

1. 完全避免了显式估计A和B矩阵
2. 将控制问题转化为对数据矩阵的直接优化
3. 保持了问题的凸性结构，确保全局最优解

提示：构建Hankel矩阵时，数据需要满足持续激励条件。实践中建议采集的数据长度至少为(m+n)×10，以确保矩阵具有良好的条件数。

2.3 在线梯度下降优化

算法采用在线梯度下降策略更新控制器参数。每当获得新的系统数据(x_k,u_k)时，执行以下更新步骤：

1. 将新数据加入数据集，更新Hankel矩阵
2. 计算当前策略下的代价函数梯度
3. 沿梯度负方向更新控