| 训练深度神经网络的常用方法和技巧 | 您所在的位置：网站首页 › 深度神经网络训练方法有哪些呢 › 训练深度神经网络的常用方法和技巧 |
|
训练深度神经网络的常用方法和技巧
背景知识要求
摘要
正文
1. 方法和技巧
2. 神经网络模型的一般形式
3.方法和技巧的单独说明
SGD（Stochastic gradient descent）
Mini-batch（解决第一个缺点）
momentum（解决第一个缺点）
AdaGrad（解决第二个缺点）
RMSprop（解决第二个缺点）
Adam（解决第二个缺点）
L2正则化，drop-out，early-stopping
4.超参数的重要性从高到低
5.超参数的搜索方式
6.偏差和方差分析（bias an variance）
7.如何解决高偏差（high bias）
8.如何解决高方差（high variance）
总结
参考
背景知识要求
神经网络基础 摘要前文三篇文章： 一个简单的3层神经网络模型part1，https://blog.csdn.net/qq_39206674/article/details/90204383 一个简单的3层神经网络模型part2，https://blog.csdn.net/qq_39206674/article/details/90302038 一个简单的3层神经网络模型part3（使用Sklearn MLPClassifier）——3层神经网络完结篇，https://blog.csdn.net/qq_39206674/article/details/90383482 从一个简单的模型出发，使用单隐藏层神经网络模型学习了房源数据，不幸的是，单隐藏层模型在数据集上的性能表现一般，本文将从几个角度阐述深度神经网络提升性能表现的方法和技巧和神经网络偏差方差分析的方法。 正文 1. 方法和技巧丛神经网络诞生之日起，机器学习专家们就致力于解决模型架构问题、模型训练提速问题，bias-variance的折中问题，模型收敛问题从而诞生了： 模型架构方面，比如卷积神经网络，循环神经网络等，也诞生了一些经典的机器学习思想，比如迁移学习和强化学习等。 模型训练提速方面，Mini-batch，SGD，AdaGrad，momentum，RMSprop，adam，学习率衰减，使用更优良的架构减少模型参数量等方法。 bias-variance折中方面，改变特征的数量，改变训练样本的数量，改变模型深度，改变模型某一层的权重数，正则化，drop-out，early-stopping，batch-norm（也有轻微的正则化效果）等方法。 模型收敛性方面，参数初始化（random，he，xariver）& |
| CopyRight 2018-2019 实验室设备网 版权所有 |