【精选100秒】武汉理工大学 侯慧，陈跃，等：无需预测，直接利用深度强化学习实现家庭能量低碳优化实时管理

2）能量管理模型。

本文所提HEMS优化过程中同时考虑系统的能耗经济性、运行低碳性以及用户满意度，建立综合优化目标：

（1）

其中：为模型t时段的综合成本；分别为模型的能耗经济性、运行低碳性以及用户满意度目标函数。

3）求解方法。

若将本问题结合基于启发式优化算法，能量管理效果将很大程度上受可再生能源出力不确定性、分时电价以及用户负荷预测误差等因素影响，无法实时有效求解。为此，本文引入深度Q网络算法克服这一问题，实现真正意义上的实时能量管理。该算法主要特点为：①建立智能体Agent与负荷一一对应，可根据环境对负荷进行实时能量管理；②适应于不依赖于任何预测算法以及先验概率分布模型的非预测机制；③自适应各用户习惯要求，具有优异的鲁棒性。算法的训练优化关系结构如图1所示。

图1 网络训练优化示意图

4）结果展示。

能量管理前后对比。在分时电价引导下，为满足负荷基本需求，通过负荷转移以及储能装置优化运行，用户的电费成本显著下降。同时，碳交易成本也明显降低。在储能装置作用下，提高了负荷低谷时段的光伏利用，消纳率显著提升。如表1所示。

表1 能量管理前后各项指标对比

算法性能对比。结果如图2所示，其中：①模式1为本文所提方案。②模式2，基于PSO算法，同时未来24h电价、光伏以及负荷需求等数据已知，无需预测。③模式3，无优化算法，用户对电价、碳价以及环境信息不敏感，不参与能量管理。④模式4，PSO提供能量管理决策的优化，但是对次日负荷、风光以及电价等数据未知，采用长短期记忆网络预测模型，预测数据用于支持日前决策。⑤模式5，同样使用PSO优化，不确定性数据未知，采用支持向量回归预测模型。基于预测机制的日前能量管理方案的结果更依赖于预测模型的精度，而本文所提基于深度Q网络(deep Q network，DQN)的优化方案，无需预测全局数据，通过智能体与实时环境进行交互，做出当前最优决策。结果显示整体优化结果优于日前能量管理方案，仅次于理想状态。

图2 各模式20个周期的综合成本比较

鲁棒性评估。本文在连续5天的随机电价场景下，对不同放电深度和差异化出行需求的电动汽车负荷充放电进行能量管理，结果如图3所示。电动汽车在家期间根据电价高低进行充放电管理，实现利益最大化，在满足用户基本需求的前提下具有较高的经济性，提升用户满意度，达到最低综合成本。说明本文方法对于各场景均值相当稳定的，具有良好的鲁棒性，且在学习和运行过程中不会崩溃或偏离等现象。

图3 电动汽车负荷连续5天能量管理结果

03

后续研究方向或讨论话题

本文重点在于从单个用户角度出发解决用户侧与电网之间的实时交互与低碳运行问题，暂未考虑用户群体以及对电网各项指标产生的影响。同时，在储能等负荷动作空间的取值上，本文进行了离散化处理。因此如何从聚合商或微网角度综合考虑联合优化运行以及算法变量的连续性等优化将是下一步的研究重点。

参 文 格 式

侯慧，陈跃，吴细秀，等．非预测机制下计及碳交易的家庭能量低碳优化实时管理[J]．电网技术，2023，47(3)：1066-1077．

HOU Hui，CHEN Yue，WU Xixiu，et al．Low-carbon optimal real-time management strategy for home energy considering carbon trading under non-prediction mechanisms[J]．Power System Technology，2023，47(3)：1066-1077 (in Chinese)．

康重庆，杜尔顺，李姚旺，等．新型电力系统的“碳视角”：科学问题与研究框架[J]．电网技术，2022，46(3)：821-833．

孙韩，陈宗海，武骥．计及电动汽车不确定性的家庭微电网实时能量调度策略[J]．电网技术，2019，43(7)：2544-2551．

侯慧，王逸凡，赵波，等. 价格与激励需求响应下电动汽车负荷聚集商调度策略[J]. 电网技术, 2022, 46(4): 1259-1269.

刘俊峰，陈剑龙，王晓生，等．基于深度强化学习的微能源网能量管理与优化策略研究[J]．电网技术，2020，44(10)：3794-3803．

张津源，蒲天骄，李烨，等．基于多智能体深度强化学习的分布式电源优化调度策略[J]．电网技术，2022，46(9)：3496-3503．

作者介绍

侯慧，博士，副教授，博导，武汉理工大学自动化学院新能源与电力系书记兼副主任。IEEE Senior Member，中国电机工程学会、中国电工技术学会等高级会员。研究方向为能源互联网规划运行及风险评估等。近年来主持国家重点研发计划子题、国家自然科学基金面上等各类项目20余项。担任中国电力科学研究院期刊中心青年专家团成员，PCMP期刊青年编委等。

陈跃，硕士研究生，主要从事综合能源系统规划与调度方面的研究工作。硕士期间，参与国家自然科学基金面上项目、国家重点研发计划子题各1项，发表学术论文6篇。Email：[email protected]。

侯婷婷，国网湖北经研院电价室主任，工学博士，高级工程师。从事电力系统规划运行、宏观经济以及电价政策等方向的工作。主研及参与国家科技攻关及国网公司科研项目20余项，发表学术论文30余篇，授权发明专利15项，获湖北省2022年企业管理现代化创新成果奖1项、湖北省电力有限公司科技进步奖4项、国网经研体系科技进步奖2项。

武汉理工大学先进储能与双碳实验室团队包括教授3名、副教授6名，博士及硕士生70余人，承担国家重点研发计划、国家自然科学基金、国家电网公司指南项目及南方电网公司重大科技项目等各类纵横向项目多项，成果获2022中国国家电网公司科技进步奖一等奖、2019中国电力科技创新奖一等奖、3项湖北省技术发明二等奖（2015、2017及2020年度）等，完成专利转让金额1239.69万元。团队长期致力于能源互联网等领域的科研攻关、支撑服务及标准制修订，服务国家“双碳”目标。

责任编辑：王金芝

审核：李兰欣

本文为原创作品，所涉及文字及图片版权均属《电网技术》编辑部所有，根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编我社的作品，务请提前联系我编辑部。个人请按本微信原文转发、分享。返回搜狐，查看更多