《机器学习》赵卫东学习笔记 第2章（课后习题及答案）

标准差描述是样本集合的各个样本点到均值的距离分布，描述的是样本集的分散程度

在机器学习中的方差就是估计值与其期望值的统计方差。如果进行多次重复验证的过程，就会发现模型在训练集上的表现并不固定，会出现波动，这些波动越大，它的方差就越大

协方差主要用来度量两个随机变量关系，如果结果为正值，则说明两者是正相关的；结果为负值，说明两者是负相关的；如果为0，就是统计上的“相互独立”

与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定

标准差可用于识别符合高斯或类高斯分布的数据中的异常值

正则化是为了避免过拟合的手段。正则化为了结构风险最小化，在经验风险上加一个正则化项或惩罚项，正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大

均匀分布、正态分布、?分布、卡方分布、F-分布、二项分布、0-1分布、Poisson分布

损失函数是关于模型计算结果f(x)和样本实际目标结果的非负实值函数，记作L(y,f(x))用它来解释模型在每个样本实例上的误差损失函数的值越小，说明预测值与实际值越接近，即模型的拟合效果越好

       L(y,f(x))可以被认为是模型的经验风险，是模型关于训练样本集的平均损失。通常情况下，经验风险也可以训练数据集的损失函数来确定

       损失函数反映了模型预测结果和实际结果之间的差距，理解损失函数的本质有助于对算法进行优化，需要结合业务目标和数据特点对问题本质进行理解，并用数学公式进行抽象，并选择简单的实现方法应用

训练误差是模型Y关于训练数据集的平均损失。损失函数可以有多种，包括0-1损失函数、平方损失函数、绝对损失函数、对数损失函数。训练误差较高时可以调整超参数重新训练。

L0正则化是通过限制向量中非0的元素的个数实现模型优化，用L0来正则化一个参数矩阵 W，目标是使其更稀疏，即W中的大部分元素都是0。很明显，如果通过最小化L0范数作为罚项，就是寻找最优的稀疏特征项。L1正则化是通过对向量中各个元素绝对值之和进行限制，任何的规则化算子，如果在wi = 0的地方不可微，并且可以分解为多项式的形式，那么这个规则化算子就可以实现稀疏。L2正则化是指向量各元素求平方和然后求平方根，用模最小化来确保w的每个元素都很小，都接近于0。

在一般情况下将数据集随机切分为训练集、验证集和测试集三部分，其中训练集用来训练模型，验证集用于训练过程中模型的验证和选择，如果有多个模型，选择其中最小预测误差的模型，而测试集用于对最终训练完成的模型进行评估。在实际应用中，数据往往并不充足，此时可以采用交叉验证的方法，将训练集切分成很多份，然后进行组合，以扩大可用训练集的数量，按照样本切分和组合方式，交叉验证分为以下几种：HoldOut检验、简单交叉检验、k折交叉检验、留一交叉检验

不同算法有不同的评价指标。例如分类算法评价指标有：准确率、准确率、召回率、F1值、ROC曲线等。回归模型的评价指标有：平均绝对偏差（MAE）、均方误差（MSE）、R2指标等

主成分分析、线性判别分析、奇异值分解、局部线性嵌入、拉普拉斯特征映射

主成分分析是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的方差最大，以此使用较少的维度，同时保留较多原数据的维度。PCA算法目标是求出样本数据的协方差矩阵的特征值和特征向量，而协方差矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后，能尽可能表征原始的数据。协方差矩阵可以用散布矩阵代替，协方差矩阵乘以（n-1）就是散布矩阵，n为样本的数量。协方差矩阵和散布矩阵都是对称矩阵，主对角线是各个随机变量（各个维度）的方差。

线性判别分析的原理是对于给定的训练集，设法将样本投影到一条直线上，使得同类的投影点尽可能接近，异类样本的投影点尽可能远离；在对新样本进行分类时，将其投影到这条直线上，再根据投影点的位置来确定新样本的类别

参考课本中用LLE对“瑞士卷”数据集进行降维的例子

，拉普拉斯特征映射是一种基于图的降维算法，它希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近，从而在降维后仍能保持原有的数据结构

特征提取目的是自动地构建新的特征，将原始数据转换为一组具有明显统计意义的核心特征

特征构建需要很强的洞察力和分析能力，要求能够从原始数据中找出一些具有物理意义的特征。如果原始数据是表格数据，一般使用混合属性或者组合属性来创建新的特征，或是分解、切分原有的特征来创建新的特征

特征生成前的原始数据可以分单列变量、多列变量、多行样本（时间序列）等三种情况

主成分分析、独立成分分析、线性判别分析

过程：

a)         确定输入变量与目标变量间的回归模型，即变量间相关关系的数学表达式

b)        根据样本估计并检验回归模型及未知参数

c)         从众多的输入变量中，判断哪些变量对目标变量的影响是显著的

d)        根据输入变量的已知值来估计目标变量的平均值并给出预测精度

逻辑回归是一种预测分析， 解释因变量与一个或多个自变量之间的关与线性回归不同之处就是它的目标变量有几种类别，所以逻辑回归主要用于解决分类问题，与线性回归相比，它是用概率的方式，预测出来属于某一分类的概率值。如果超过50%，则属于某一分类

二次判别分析是针对那些服从高斯分布，且均值不同， 方差也不同的样本数据而设计的。它对高斯分布的协方差矩阵不做任何假设，直接使用每个分类下的协方差矩阵，因为数据方差相同的时候，一次判别就可以，但如果类别间的方差相差较大时，就变成了一个关于?的二次函数， 就需要使用二次决策平面

举例从定义分析目标、收集数据、数据预处理、数据建模、模型训练、模型评估、模型应用等阶段进行说明即可。

可视化分析是一种数据分析方法，利用人类的形象思维将数据关联，并映射为形象的图表。人脑对于视觉信息的处理要比文本信息容易得多，所以可视化图表能够使用户更好地理解信息，可视化分析凭借其直观清晰，能够提供新洞察和发现机会的特点活跃在诸多科学领域