UXOFFER1. 项目背景与核心目标
在能源系统优化调度领域，传统数学规划方法（如混合整数线性规划）虽然能提供理论最优解，但面临两大痛点：一是求解时间随系统规模指数增长，难以满足实时调度需求；二是对不确定性因素（如可再生能源出力波动）的适应性较差。深度强化学习（DRL）因其"试错学习"的特性和强大的非线性拟合能力，为这一问题提供了新的解决思路。
本项目的核心价值在于：
- 构建了一个完整的DRL算法验证框架，覆盖从环境建模、算法实现到性能对比的全流程
- 针对能源系统特有的约束条件（如功率平衡、设备爬坡率），设计了符合工程实际的奖励函数
- 提供DDPG、TD3、SAC、PPO四种主流算法的标准化实现，支持"开箱即用"的对比实验
实际工程中，我们常遇到这样的困境：在仿真环境表现良好的算法，部署到真实系统时会出现约束违反。本项目特别设计了严格的不平衡惩罚机制，确保算法在追求经济性的同时不突破安全边界。
需要模型API调用？ 免费领10W Token，多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 系统建模与关键技术
2.1 能源系统组成建模
系统包含三类核心设备，其数学模型如下：
2.1.1 柴油发电机(DG)
采用二次成本模型：
code复制成本 = a*P² + b*P + c
其中a、b、c为设备特有参数，P为输出功率。同时需满足：
- 出力上下限：P_min ≤ P ≤ P_max
- 爬坡约束：|P(t) - P(t-1)| ≤ ΔP_max
2.1.2 蓄电池(ESS)
状态转移方程：
code复制SOC(t+1) = SOC(t) + (η_charge*P_charge - P_discharge/η_discharge)/Capacity
约束条件：
- SOC范围：[0.2, 0.8]（防止过充过放）
- 充放电功率：|P| ≤ 100kW
- 效率：η_charge=η_discharge=0.9
2.1.3 电网交互
购电/售电模型：
code复制成本 = λ_buy * P_buy - λ_sell * P_sell
λ_sell = 0.5 * λ_buy # 售电价格折扣
2.2 强化学习环境设计
2.2.1 状态空间（7维）
- 归一化小时数 (0-24h → [0,1])
- 当前电价 (归一化)
- 蓄电池SOC ([