第一章 绪论

机器学校致力于如何通过计算的手段，利用经验来改善系统的自身性能。 本文用“模型”泛指从数据中学得的结果。有文献用“模型”指全局性结果(例如一棵决策树)，而用“模式”指局部性结果(例如一条规则)。

属性=属性值，如(色泽=浅白,根蒂=硬挺)，每对括号内是一条记录 一般地，令 D = { x 1 ， x 2 ， … ， x m } D= \{ x_1， x_2， \dots ， x_m\} D={x1​，x2​，…，xm​}表示包含m个示例的数据集，每个示例由d个属性描述，d为x_i的维数。 x i = ( x i 1 ; x i 2 ; … ; x i d ) \boldsymbol{x}_i=(x_{i1};x_{i2};\ldots;x_{id}) xi​=(xi1​;xi2​;…;xid​)

从数据中学得模型的过程称为“学习”(learning)或“训练”(training)，这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”(training data)，其中每个样本称为一个“训练样本”(training sample)，训练样本组成的集合称为“训练集”(training set)、学得模型对应了关于数据的某种潜在的规律，因此亦称“假设”(hypothesis);这种潜在规律自身，则称为“真相”或“真实”(ground-truth)，学习过程就是为了找出或逼近真相

若我们欲预测的是离散值，例如“好瓜”“坏瓜”，此类学习任务称为“分类”(classification)；若欲预测的是连续值，例如西瓜成熟度0。95、0。37，此类学习任务称为“回归”(regression)。对只涉及两个类别的“二分类”(binary classification)任务，通常称其中一个类为“正类”(positive class)，另一个类为“反类”(negative class)；涉及多个类别时，则称为“多分类”(multi-class classification)任务。

我们还可以对西瓜做“聚类”(clustering),即将训练集中的西瓜分成若干组,每组称为一个“簇”(cluster);这些自动形成的簇可能对应一些潜在的概念划分，例如“浅色瓜”“深色瓜”，甚至“本地瓜”“外地瓜”．这样的学习过程有助于我们了解数据内在的规律,能为更深入地分析数据建立基础。需说明的是,在聚类学习中，“浅色瓜”“本地瓜”这样的概念我们事先是不知道的，而且学习过程中使用的训练样本通常不拥有标记信息。 根据训练数据是否拥有标记信息,学习任务可大致划分为两大类:“监督学习”(supervised learning)和“无监督学习”(unsupervised learning)，分类和回归是前者的代表,而聚类则是后者的代表。 需注意的是,机器学习的目标是使学得的模型能很好地适用于“新样本”，而不是仅仅在训练样本上工。作得很好;即便对聚类这样的无监督学习任务,我们也希望学得的簇划分能适用于没在训练集中出现的样本学得模型适用于新样本的能力,称为“泛化”(generalization)能力。

需注意的是,机器学习的目标是使学得的模型能很好地适用于“新样本”，而不是仅仅在训练样本上工作得很好;即便对聚类这样的无监督学习任务,我们也希望学得的簇划分能适用于没在训练集中出现的样本学得模型适用于新样本的能力,称为“泛化”(generalization)能力。具有强泛化能力的模型能很好地适用于整个样本空间。于是，尽管训练集通常只是样本空间的一个很小。

任何一个有效的机器学习算法必有其归纳偏好,否则它将被假设空间中看似在训练集上“等效”的假设所迷惑,而无法产生确定的学习结果.可以想象，如果没有偏好，我们的西瓜学习算法产生的模型每次在进行预测时随机抽选训练集上的等效假设，那么对这个新瓜“(色泽=青绿;根蒂=蜷缩;敲声=沉闷)”,学得模型时而告诉我们它是好的、时而告诉我们它是不好的,这样的学习结果显然没有意义.

机器学习是人工智能(artificial intelligence)研究发展到一定阶段的必然产物 1952年证明了著名数学家罗素和怀特海的名著《数学原理》中的38条定理,在1963年证明了全部52条定理,特别值得一提的是,定理2.85甚至比罗素和怀特海证明得更巧妙.A.Newell和H. Simon因为这方面的工作获得了1975年图灵奖. 从二十世纪七十年代中期开始,人工智能研究进入了“知识期”.在这一时期,大量专家系统问世,在很多应用领域取得了大量成果.E.A.Feigenbaum作为“知识工程”之父在1994年获得图灵奖.但是，人们逐渐认识到,专家系统面临“知识工程瓶颈”。

在二十世纪八十年代，“从样例中学习”的一大主流是符号主义学习，其代表包括决策树(decision tree)和基于逻辑的学习.典型的决策树学习以信息论为基础,以信息嫡的最小化为目标，直接模拟了人类对概念进行判定的树形流程．

二十世纪九十年代中期之前，“从样例中学习”的另一主流技术是基于神经网络的连接主义学习.连接主义学习在二十世纪五十年代取得了大发展,但因为早期的很多人工智能研究者对符号表示有特别偏爱，连接主义学习的最大局限是其“试错性”;简单地说,其学习过程涉及大量参数,而参数的设置缺乏理论指导,主要靠手工“调参”;夸张一点说，参数调节上失之毫厘,学习结果可能谬以千里.

二十世纪九十年代中期，“统计学习”(statistical learning)闪亮登场并迅速占据主流舞台,代表性技术是支持向量机(Support Vector Machine，简称SVM)以及更一般的“核方法”(kernel methods).这方面的研究早在二十世纪六七十年代就已开始,统计学习理论[Vapnik,1998]在那个时期也已打下了基础，但直到九十年代中期统计学习才开始成为机器学习的主流.统计学习与连接主义学习有密切的联系.在支持向量机被普遍接受后,核技巧(kernel trick)被人们用到了机器学习的几乎每一个角落,核方法也逐渐成为机器学习的基本内容之一。

二十世纪九十年代中期之前，“从样例中学习”的另一主流技术是基于神经网络的连接主义学习.连接主义学习在二十世纪五十年代取得了大发展,但因为早期的很多人工智能研究者对符号表示有特别偏爱，例如图灵奖得主H.Simon曾断言人工智能是研究“对智能行为的符号化建模”,所以当时连接主义的研究未被纳入主流人工智能研究范畴.尤其是连接主义自身也遇到了很大的障碍

有趣的是，二十一世纪初,连接主义学习又卷土重来,掀起了以“深度学习”为名的热潮.所谓深度学习,狭义地说就是“很多层”的神经网络.在若干测试和竞赛上,尤其是涉及语音、图像等复杂对象的应用中,深度学习技术取得了优越性能.以往机器学习技术在应用中要取得好性能,对使用者的要求较高;而深度学习技术涉及的模型复杂度非常高,以至于只要下工夫“调参”,把参数调节好,性能往往就好.因此,深度学习虽缺乏严格的理论基础,但它显著降低了机器学习应用者的门槛,为机器学习技术走向工程实践带来了便利.神经网络在二十世纪八十年代中期走红，与当时Intel x86系列微处理器与内存条技术的广泛应用所造成的计算能力、数据访存效率比七十年代有显著提高不无关联．