鲸鱼WOA优化注意力机制的BiLSTM用于负荷预测 | 您所在的位置:网站首页 › bilstm~crf模型参数 › 鲸鱼WOA优化注意力机制的BiLSTM用于负荷预测 |
基于Python、tensorflow1.x框架,提出了一种基于 Attention 机制的BiLSTM短期电力负荷预测方法,该方法将历史负荷数据作为输入,建模学习特征内部动态变化规律,并引入Attention 机制通过映射加权和学习参数矩阵赋予Bilstm 隐含状态不同的权重,减少历史信息的丢失并加强重要信息的影响,简称BiLSTM-Attention短期负荷预测模型。同时,针对该模型超参数选择困难的问题,提出利用鲸鱼woa算法实现该模型超参数的优化选择。 1、Bilstm原理-百度就有 2、注意力机制,参考 3、BiLSTM-Attention模型 4,鲸鱼优化BiLSTM-Attention超参数 鲸鱼WOA优化问题是对适应度函数求极大值或极小值的问题,本文以最小化BiLSTM-Attention网络期望输出与实际输出之间的均方差为适应度函数,即找到一组网络超参数,使得 BiLSTM-Attention的误差最小,整个优化流程如图 所示。 WOA算法优化 LSTM-Attention 分为WOA部分、BiLSTM-Attention 部分和数据部分。其中,BiLSTM-Attention部分首先根据 WOA 传入的参数进行解码,获得迭代次数、学习率、与各隐含层节点数,然后利用数据部分传入的训练集进行网络训练,最后对测试集进行预测,获得实际输出值与期望输出值的误差均方差,并将均方差作为适应度值返回 给WOA部分。WOA部分根据适应度值进行发现者、跟随者、警戒者的移动操作,实 现种群与全局最优解的更新。 通过该方法,最终可获得优化的网络超参数。 4.结果 数据为2016负荷预测竞赛数据,采用2012年数据,进行提前一步滚动预测建模 4.1 BP网络--与传统方法对比,验证深度学习的准确性 4.2 LSTM结果
找到一组网络超参数,使得 BiLSTM-Attention的误差最小,主要优化的超参数是:学习率,训练次数,两个隐含层的节点数,其适应度曲线为: 最优参数为: [0.006002472666131216, 94, 98, 79]。利用该超参数进行建模,结果为: 4.5 各算法结果对比 |
今日新闻 |
推荐新闻 |
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 |