常见的损失函数：

注意：损失函数不一定是上面的4个，也可以自定义损失函数。比如：感知机的损失函数就是自定义：误分类点到超平面的距离。

期望风险

经验风险

结构风险：指为经验风险加上正则项，用于对模型的参数个数（即模型复杂度）进行限制

用于表明什么是最优模型，即求最小化的目标函数是谁？

经验风险最小化：指经验风险最小的模型就是最优模型。

结构风险最小化：为了防止过拟合而提出来的，指结构风险最小的模型就是最优模型。

因此，在机器学习三要素中，第三步使用算法求解最优模型时，有两个角度。

训练误差：模型在训练集上的经验风险

测试误差：模型在测试集上的经验风险

泛化误差：指模型在测试集上的期望风险。

区分：测试误差是模型在测试集上的经验风险。

作用：对于不同复杂度下得到的最优化模型，我们可以使用泛化误差来衡量模型的好坏。泛化误差越小，模型越好。

和期望风险与经验风险的一样，由于 P(x, y) 是不知道的，也求不出来，所以转而使用 泛化误差上界 来代替 泛化误差去评估模型的好坏。

注意：有时候近似的用 测试误差 来代替 泛化误差上界。

注意：生成模型 与 判别模型 都是监督学习中的概念。而监督模型中的模型模型有两类：概率模型P(y | x) 与 决策模型 y = f(x)。

定义：

区别 / 特点：

代表算法：

例子1：

例子2：

似然函数的自变量是θ，因变量是P(x | θ)。如果取θ = θ1，那么 P(x | θ1) 表示在 θ1 下，样本x出现的概率。

最大似然估计：指使似然函数最大。即 找到参数 θ 的一个估计值，使得当前样本x出现的可能性最大。

当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。