【干货】深度学习需要了解的四种神经网络优化算法 |
您所在的位置:网站首页 › 神经网络优化组合有哪些 › 【干货】深度学习需要了解的四种神经网络优化算法 |
【导读】近日,Vadim Smolyakov发表了一篇博客,针对当前神经网络的优化算法进行了总结,并利用简单的CNN网络在NMIST数据集上进行实验,探讨不同的优化方法的效果好坏。其中考虑了四种神经网络训练的优化方法:SGD,Nesterov Momentum,RMSProp和Adam,并用TensorFlow进行训练。作者最终得出结果:使用Nesterov Momentum和Adam的SGD产生的结果更好。如果您对神经网络的优化算法还不是很了解,那么相信这篇文章将会给您很好的启发!专知内容组编辑整理。 Neural Network Optimization Algorithms ——A comparison study based on TensorFlow 神经网络优化算法 训练神经网络的最流行的优化算法有哪些?怎么进行比较? 本文在MNIST数据集用卷积神经网络(CNN)进行实验,来回答上述优化问题。 ![]() ▌随机梯度下降(SGD) SGD通过数据的一个大小为(m)的子集(subset)或一个小批量(mini-batch)来从梯度负方向上更新模型参数(theta): ![]() 神经网络由 f(x(i); theta)表示,其中x(i)是训练数据,y(i)是标签,损失函数L的梯度是根据模型参数θ计算的。学习率(eps_k)决定了算法沿着梯度(在最小化的情况下为负方向,在最大化的情况下为正方向)下降的步长大小。 学习率是非常重要的超参数。学习率太高(例如> 0.1)会导致参数的更新错过最佳值,学习率太低(例如 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |