深度学习中常用的激活函数 |
您所在的位置:网站首页 › 激活函数总结 › 深度学习中常用的激活函数 |
深度学习中常用的激活函数 ![]() 2018-04-12 关注 关注摘要: 1.概述 2.激活函数与导数 3.激活函数对比 内容: 1.概述 深度学习的基本原理是基于人工神经网络,信号从一个神经元进入,经过非线性的activation function,传入到下一层神经元;再经过该层神经元的activate,继续往下传递,如此循环往复,直到输出层。正是由于这些非线性函数的反复叠加,才使得神经网络有足够的capacity来抓取复杂的pattern,选择怎样的activation function的标准之一是其优化整个深度神经网络的效果。 2.激活函数与导数 2.1sigmoid函数 ![]() 2.2tanh函数 ![]() ![]() 2.3ReLU函数 ![]() ![]() 2.4ReLU的其他变种 3.激活函数对比 Sigmoid函数是深度学习领域开始时使用频率最高的activation function。它是便于求导的平滑函数 然而,Sigmoid有三大缺点: 容易出现gradient vanishing函数输出并不是zero-centered幂运算相对来讲比较耗时机器学习 深度学习 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |