机器学习中的数学

分类目录：《机器学习中的数学》总目录 相关文章： · 激活函数：基础知识 · 激活函数（一）：Sigmoid函数 · 激活函数（二）：双曲正切函数（Tanh函数） · 激活函数（三）： 线性整流函数（ReLU函数） · 激活函数（四）：Leaky ReLU函数 · 激活函数（五）：ELU函数 · 激活函数（六）：Parametric ReLU（PReLU）函数 · 激活函数（七）：Softmax函数 · 激活函数（八）：Swish函数 · 激活函数（九）：Maxout函数 · 激活函数（十）：Softplus函数 · 激活函数（十一）：Softsign函数 · 激活函数（十二）：高斯误差线性单元(GELUs)

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在深度学习中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到 [ 0 , 1 ] [0, 1] [0,1]之间。 S ( x ) = 1 1 + e − x S(x)=\frac{1}{1+e^{-x}} S(x)=1+e−x1​

Sigmoid函数的导数可以用其自身表示： S ′ ( x ) = e − x ( 1 + e − x ) 2 = S ( x ) ( 1 − S ( x ) ) S'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x)) S′(x)=(1+e−x)2e−x​=S(x)(1−S(x))

Sigmoid函数的特性与优缺点：

Sigmoid函数及其导数的图像：