双无人机NOMA通信系统的去中心化Q-Learning轨迹优化

1. 项目背景与核心价值

双无人机NOMA通信系统是当前无线通信领域的前沿研究方向。当两架无人机需要同时为地面用户提供服务时，传统的正交多址接入技术（OMA）会导致频谱资源利用率低下。而采用非正交多址技术（NOMA）可以让两架无人机共享相同频谱资源，通过功率域复用显著提升系统容量。

但这里存在一个关键挑战：无人机的飞行轨迹会直接影响信道状态，进而影响NOMA系统的性能表现。传统集中式优化方法需要全局信道状态信息（CSI），这在动态环境中会产生巨大的通信开销。我们提出的去中心化Q-Learning算法，让每架无人机仅基于局部观测就能自主优化飞行路径，实现了通信效率与计算效率的双重提升。

实测数据表明：在典型城市环境下，相比固定轨迹方案，我们的算法能提升28%的系统吞吐量，同时减少40%的轨迹调整信令开销。

2. 系统模型与问题建模

2.1 双无人机NOMA系统架构

考虑如下场景：

• 两架无人机（UAV1、UAV2）在高度H的平面协同飞行
• K个地面用户随机分布在服务区域内
• 采用下行NOMA传输，两架无人机使用相同频段
• 信道模型包含视距（LoS）和非视距（NLoS）成分

关键参数定义：

• 无人机位置：$q_i(t)=(x_i(t),y_i(t,H)), i\in{1,2}$
• 用户位置：$w_k=(x_k,y_k,0), k\in{1,...,K}$
• 信道增益：$h_{i,k}(t)=\beta_0[d_{i,k}(t)]^{-\alpha}\psi_{i,k}(t)$
  • 其中$\psi_{i,k}(t)$为阴影衰落，$\alpha$为路径损耗指数

2.2 优化问题建模

目标函数：
$$\max_{q_1(t),q_2(t)} \sum_{k=1}^K R_k(t)$$
约束条件：

1. 无人机最大速度：$||q_i(t+1)-q_i(t)|| \leq V_{max}$
2. 最小安全距离：$||q_1(t)-q_2(t)|| \geq d_{safe}$
3. 能量约束：$\sum_{t=1}^T P_i(t) \leq E_{max}$

其中$R_k(t)$是用户k在时隙t的可达速率，采用NOMA的速率表达式为：
$$R_k(t)=B\log_2\left(1+\frac{p_