人工神经网络

在上一讲中，我们讲到了Rosenblatt在1957年提出的感知器算法，并证明了在线性可分条件下算法的收敛性。感知器算法的的实质是在训练数据集线性可分条件下，寻找分类的超平面，这与我们学过的支持向量机做的事情是差不多的，但是由于支持向量机是基于所有的训练数据寻找最大化间隔超平面，而感知器算法却是相对随意的找一个分开两类的超平面。因此，大多数时候，支持向量机划分的分类面往往比感知器算法好一点。

下面是对于同一个训练数据集分别应用感知器算法和应用支持向量机算法获得的分类面，可见，支持向量机获得的分类面直观上比感知器算法要好。

上面的结果一点也不奇怪，因为感知器算法是1957年发明的，而支持向量机是1995年左右逐渐获得认可，两者之间隔了将近40年。它们在理论深度和实际性能上有差距是正常的事情。由于感知器算法性能不足够好，我们目前已经不再使用感知器算法了，但是它在机器学习这一领域的发展过程中却有着重要的历史意义。这种意义表现在感知器算法首先提出了一套机器学习算法的框架。

如下图3所示，假设一个系统输入是 X X X，输出是 Y Y Y，现在有一组训练数据集 ( X i , y i ) (X_i,y_i) (Xi​,yi​)， i = 1 ⋅ ⋅ ⋅ N i=1···N i=1⋅⋅⋅N，机器学习的目的是要寻找一个预测函数 y = f ( X , θ ) y=f(X,θ) y=f(X,θ)，这里 f f