随机优化算法简介

随机优化算法特别适合用来解决受多个变量影响，存在很多可能的解，且结果因这些变量的组合而产生很大变化的问题。其典型的应用场景是，问题的解空间非常大，以至于我们无法对所有可能的解逐一尝试的情况。对于这类问题最简单低效的求解方法是尝试随机猜测成千上万个解，并从中找出最佳的解。更有效率的方法则是从随机解出发，朝着可能有改进的方向修正来逼近最优解。本文将从最低效的随机搜索算法出发，随后介绍更优的爬山法、模拟退火、遗传算法等随机优化算法。

成本函数是使用优化算法解决问题的关键。任何优化算法的目标，都是要寻找一组能够使得成本函数的结果最小化的解。因此，当我们给定一个解时，成本函数需要评估这个解的好坏，并返回一个值表示评估的结果，通常返回的值越大代表成本越高，即对应的解越差。

随机搜索是一种简单低效的优化算法，虽然效果不是非常好，但是有助于我们理解其他的优化算法，也是我们评估其他算法的基线。

随机搜索会尝试 n 次的随机猜测，每次尝试的过程如下：

虽然 n 次的猜测在全部的可能性中只占非常小的一部分，得到最优解的几率很小，但我们仍然有机会得到还算不错的解。

随机搜索并没有充分利用已经发现的较优解，其每一次尝试都是跳跃的，下一次尝试找到的解可能比当前的较优解更差。

爬山法是随机搜索的一个替代方法。我们首先从一个随机解开始，然后在其相邻的解空间中寻找更好的解，直到找到一个局部最优解。这类似于我们为了更快的下山，可以选择坡度最大的斜坡向下走。

随机生成一个初始的解。

不断迭代寻找相邻的更优解：

如果没有成本更低的相邻解则迭代结束。

爬山法的运行速度较快，其找到的解一般要比随机搜索找到的更好，但是该算法有一个较大的缺陷：可能陷入局部最优解。即爬山法找到的最好的解虽然比邻近的所有解都好，但并不一定是全局最优解。

解决该缺陷的办法是随机重复爬山法，即以多个随机生成的初始解为起点，多次运行爬山法，以期某一个局部最优解能逼近全局最优解。

模拟退火算法是受冶金学的退火启发而来的一种优化算法。退火是将合金加热然后慢慢冷却的过程，加热会使能量变大，大量的原子受到激发而向周围随机移动，冷却时速度较慢，使得原子有更多的机会找到一个比原先内能更低的位置。

模拟退火算法同样也是从一个随机的初始解开始不断的迭代。迭代过程中会有一个温度值，温度的初始值非常高，随着迭代的进行会逐渐变低。

迭代过程是模拟退火算法的核心步骤，可分为新解的产生和接受新解两部分。

每一次迭代算法会随机选择解的某个变量朝某个方向进行变化，相当于从相邻解空间中随机选择某一个解。

算法的关键在于每一步迭代接受新解的策略：

某些情况下接受一个更差的解是有必要的，这有机会降低陷入局部最优的可能性。模拟退火算法会在开始阶段接受表现较差的解，随着退火过程的进行，温度值不断降低，算法接受较差解的几率越来越低，直到最后将只接受更优的解。具体的概率由下面的公式给出：

由于一开始时温度值非常高，概率接近于 1，随着温度值的降低，成本的差异越来越重要，概率越来越低。

当温度值降至某个最低值，继续迭代无法再接受新解时，停止迭代并接受当前寻找的最优解为最终解。

遗传算法受自然科学的启发，该算法会先随机生成一组解，这一组解称之为种群。随后会根据现有种群，通过精英选拔、随机的变异和配对等方式构造下一代种群，从而完成一轮迭代。最终通过不断迭代进化来逼近最优解。

随机生成一组解，从而构建初始的种群。

在每一步迭代过程中，首先会计算种群中每一个解的成本并按成本排序，得到一个成本由低到高的有序列表。

然后我们通过以下三种方法生成下一代种群：

新的种群的大小通常与旧的种群相同。

达到指定的迭代次数，或者连续经过数代解都没有得到改善的时候，停止迭代得到最终解。

https://en.wikipedia.org/wiki/Hill_climbing

https://en.wikipedia.org/wiki/Simulated_annealing

https://en.wikipedia.org/wiki/Genetic_algorithm

https://book.douban.com/subject/3288908/