https://blog.csdn.net/u010180815/article/details/78994486?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-4.nonecase

维弗雷多·帕雷托 (Villefredo Pareto) 在1987年提出：社会财富的80%是掌握在20%的人手中，而余下的80%的人只占有20%的财富。渐渐地，这种“关键的少数（vital few）和次要的多数（trivial many）”的理论，被广为应用在社会学和经济学中，并被成之为Pareto原则（Pareto Principle）。Pareto Principle也常被称为80/20原则，或称帕累托法则、帕累托定律、最省力法则或不平衡原则、犹太法则。而帕累托法则认为：原因和结果、投入和产出、努力和报酬之间本来存在着无法解释的不平衡。

Pareto Optimal在维基的解释是：“不可能再改善某些人的境况，而不使任何其他人受损”。帕雷托最优的定义：帕雷托最优是资源分配的一种状态，在不使任何人境况变坏的情况下，不可能再使某些人的处境变好。帕累托最优（Pareto Optimality），也称为帕累托效率、帕累托改善，是博弈论中的重要概念，并且在经济学， 工程学和社会科学中有着广泛的应用。

Pareto解又称非支配解或不受支配解（nondominated solutions）：在有多个目标时，由于存在目标之间的冲突和无法比较的现象，一个解在某个目标上是最好的，在其他的目标上可能是最差的。这些在改进任何目标函数的同时，必然会削弱至少一个其他目标函数的解称为非支配解或Pareto解。一组目标函数最优解的集合称为Pareto最优集。最优集在空间上形成的曲面称为Pareto前沿面(Pareto optimal front)。Pareto 在1986 年提出多目标的解不受支配解(Non-dominated set)的概念，其定义为：假设任何二解S1及S2对所有目标而言，S1均优于S2，则我们称S1 支配S2，若S1没有被其他解所支配，则S1 称为非支配解（不受支配解），也称Pareto解。

考虑下图，我们以国家经济发展的又快又好为多目标优化，那么他的帕累托前沿面如图所示，面上的每个点都对应一个的策略，而前沿面上的每个策略都在其中一个目标上做到了极致，也就是说在相同速度的情况下，前沿面上的点总是质量最好的。想提升速度，那么必须相应的降低质量。

但是多目标优化问题往往没有这么好的前沿面，考虑同时最小化两个目标，我们得到的前沿面往往是比较奇怪的，类似于下图： 同时使这两个目标最小化的点称之为oracle solution–神才能到达的点，这样的多目标优化问题时很难的，我们一般通过等价变化将他变成单目标优化的形式。下面将通过岭回归来探讨这个转变的过程。

岭回归在本质上时一个双目标优化问题，我们希望误差的二范数的平方尽可能的小，也希望 x x x的能量尽可能的小，因此可以写为如下的形式 min ⁡ ∣ ∣ b − A x ∣ ∣ 2 2 \min ||b-Ax||^2_2 min∣∣b−Ax∣∣22​ min ⁡ ∣ ∣ x ∣ ∣ 2 2 \min ||x||_2^2 min∣∣x∣∣22​

他的曲线我们可以画成如下的形式： 他的帕累托前沿面就是图中加粗的部分。

我们可以将上述的岭回归写成如下形式： min ⁡ ∣ ∣ b − A x ∣ ∣ 2 2 + λ ∣ ∣ x ∣ ∣ 2 2 ； λ ≥ 0 \min{||b-Ax||^2_2+\lambda ||x||_2^2}；\lambda\geq0 min∣∣b−Ax∣∣22​+λ∣∣x∣∣22​；λ≥0 这就是我们常见的岭回归的形式，其实就是使用参数 λ \lambda λ，将多目标优化转化成了单目标无约束优化。便利这个 λ \lambda λ，我们就可以取到前沿面上的所有的点， λ = 0 \lambda=0 λ=0与 λ = i n f \lambda=inf λ=inf时的点已经画在了图上。 但是很多时候，即使是转化成了单目标优化我们也无法求出前沿面上的所有点。

上面我们已经给出了两种岭回归的形式，这里再给出另一种，这三种形式也就是我们常用的多目标向单目标转化的方法

m i n ∣ ∣ b − A x ∣ ∣ 2 2 min ||b-Ax||_2^2 min∣∣b−Ax∣∣22​ s . t . ∣ ∣ x ∣ ∣ 2 2 ≤ κ s.t. ||x||_2^2\leq \kappa s.t.∣∣x∣∣22​≤κ 即我们主要优化其中一个目标，而使得另一个目标成为优化的限制条件。同样的在这里如果 κ = 0 \kappa=0 κ=0，那么是上图中 λ = i n f \lambda=inf λ=inf的点，而 κ = i n f \kappa=inf κ=inf对应 λ = 0 \lambda=0 λ=0的点。这也给我们提供了一种将约束去掉，将问题转化为无约束的方法，从而导出了拉格朗日乘子的概念。