本篇借鉴了这篇文章，如果有兴趣，大家可以看看：https://blog.csdn.net/geter_CS/article/details/84857220

1、交叉熵：交叉熵主要是用来判定实际的输出与期望的输出的接近程度

2、CrossEntropyLoss()损失函数结合了nn.LogSoftmax()和nn.NLLLoss()两个函数。它在做分类（具体几类）训练的时候是非常有用的。

3、softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

其公式如下：  

numpy计算代码：

 4、LogSoftmax能够解决函数上溢和下溢的问题,加快运算速度,提高数据稳定性。

其计算公式：

M是max(x_i),这样可以解决上溢下溢的问题.(但这样输出概率和就不是1了)

代码：

结果：

 5、NllLoss:即负对数似然损失函数(Negtive Log Likehood)。

公式：

其中 yi 是one_hot编码后的数据标签,NLLLoss()得到的结果即是 yi 与logsoftmax()激活后的结果相乘再求均值再取反。（实际在用封装好的函数时,传入的标签无需进行one_hot编码）

代码：

结果：

5、没有权重的损失函数的计算如下：

有权重的损失函数的计算如下：

6、交叉熵损失（CE）和负对数极大似然估计（NLL）的关系：交叉熵是定义在两个one-hot向量之间的，更具体地说是定义在两个概率向量之间nll是定义在一个模型上的，取决于模型本身可以取不同的形式。

似然函数：都是指某种事件发生的可能性，但是在统计学中，“似然性”和“概率”（或然性）有明确的区分：概率，用于在已知一些参数的情况下，预测接下来在观测上所得到的结果；似然性，则是用于在已知某些观测所得到的结果时，对有关事物之性质的参数进行估值，也就是说已观察到某事件后，对相关参数进行猜测。

下图出处：

举个栗子，我们一共有三种类别，批量大小为1（为了好计算），那么输入size为（1,3），具体值为torch.Tensor([[-0.7715, -0.6205,-0.2562]])。标签值为target = torch.tensor([0])，这里标签值为0，表示属于第0类。loss计算如下：

结果: