机器学习中的数学

分类目录：《机器学习中的数学》总目录 相关文章： · 激活函数：基础知识 · 激活函数（一）：Sigmoid函数 · 激活函数（二）：双曲正切函数（Tanh函数） · 激活函数（三）： 线性整流函数（ReLU函数） · 激活函数（四）：Leaky ReLU函数 · 激活函数（五）：ELU函数 · 激活函数（六）：Parametric ReLU（PReLU）函数 · 激活函数（七）：Softmax函数 · 激活函数（八）：Swish函数 · 激活函数（九）：Maxout函数 · 激活函数（十）：Softplus函数 · 激活函数（十一）：Softsign函数 · 激活函数（十二）：高斯误差线性单元(GELUs) · 深入浅出Pytorch函数——torch.softmax/torch.nn.functional.softmax · 深入浅出Pytorch函数——torch.nn.Softmax

Softmax函数是用于多类分类问题的激活函数，在多类分类问题中，超过两个类标签则需要类成员关系。对于长度为 K K K的任意实向量，Softmax函数可以将其压缩为长度为 K K K，值在 [ 0 , 1 ] [0,1] [0,1]范围内，并且向量中元素的总和为1的实向量。

Softmax ( x ) = e x i ∑ i e x i \text{Softmax}(x)=\frac{e^{x_i}}{\sum_ie^{x_i}} Softmax(x)=∑i​exi​exi​​

Softmax函数与正常的max函数不同：max函数仅输出最大值，但Softmax函数确保较小的值具有较小的概率，并且不会直接丢弃。我们可以认为它是 arg max ⁡ \argmax argmax函数的概率版本或“soft”版本。Softmax函数的分母结合了原始输出值的所有因子，这意味着Softmax函数获得的各种概率彼此相关。

Softmax激活函数的特点：