小概念 模型：调整参数后的程序。 监督学习：输入的数据有标签。 非监督学习：输入的数据没有标签。 监督学习常见的就是回归、分类 回归：通过已有的数据来预测新的数据，输出一个数值。 分类：希望有一条线将数据分割成不同的类别。输出一个预测的类别。 无论是回归，还是分类，我们目的都是让搭建好的模型尽可能的模拟已有的数据。 机器学习任务：回归、分类、结构学习 决定模型能否模拟成功的关键有两点，分别是参数和模型的结构。

模型中的参数成千上万，需要机器自己去寻找，这个寻找合适参数的过程就称为学习或者训练。

我们通常会使用一个工具来帮助调整模型参数，这个工具就是损失函数。

通常来讲，损失越大、模型效果越差，损失越小、模型效果越好

何为梯度下降？ 梯度下降的定义：随机选择一个方向，然后每次迈步都选择最陡的方向，直到这个方向上能达到的最低点。

总结：梯度下降用来做什么？ 在机器学习算法中,有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。而在求解机器学习参数的优化算法中，使用较多的就是基于梯度下降的优化算法。

梯度下降根据处理的训练数据不同，共有三种方式。 ①批量梯度下降BGD ②小批量梯度下降MBGD ③随机梯度下降SGD

通俗易懂的解释一下这几个之间的区别！！！

梯度算法的优缺点 优点：在梯度下降法的求解过程中，只需求解损失函数的一阶导数，计算的代价比较小，可以在很多大规模数据集上应用 缺点：求解的是局部最优值，即由于方向选择的问题，得到的结果不一定是全局最优。 步长选择方面，过小使得函数收敛速度慢，过大又容易找不到最优解。

那什么是步长？即所谓的学习率：控制模型的学习进度