SVM原理详细图文教程来了！一行代码自动核函数还有模型实用工具

用微信扫码二维码

分享至好友和朋友圈

点击上方 "Python人工智能技术" 关注，星标或者置顶

22点24分准时推送，第一时间送达

Python人工智能技术(ID:coder_experience)第203次推文 图源:百度

上一篇：这届留学生太惨！美国高校不复课，特朗普政府却要断他们签证；吴恩达：糟糕透顶

正文

△2维坐标系中，超平面是一条直线

SVM？老分类算法了，轻松拿下。

然而，每一次老板让你讲解SVM，或每一次面试被问到SVM，却总是结结巴巴漏洞百出。

「这些人怎么总能精准发现我的盲点？」

简直让人怀疑自己掌握的是假SVM。

如果你有这样的问题，那这篇SVM数学原理对你会有很大帮助，一起来看看吧。

SVM 由线性分类开始

理解SVM，咱们必须先弄清楚一个概念：线性分类器。

这个超平面的方程可以表示为（ wT中的T代表转置）:

当f(x)等于0的时候，x便是位于超平面上的点，而f(x)大于0的点对应 y=1 的数据点，f(x)小于0的点对应y=-1的点。

SVM 想要的就是找到各类样本点到超平面的距离最远，也就是找到最大间隔超平面。任意超平面可以用下面这个线性方程来描述：

二维空间点（x，y）到直线Ax+By+C=0的距离公式是：

扩展到n维空间后，点x=（x1，x2……xn）到直线wTx+b=0的距离为：

其中 :

根据支持向量的定义，支持向量到超平面的距离为d，其他点到超平面的距离大于d。

于是有：

||w||d是正数，令它为 1（之所以令它等于 1，是为了方便推导和优化，且这样做对目标函数的优化没有影响），于是：

将两个方程合并，有：

至此，就得到了最大间隔超平面的上下两个超平面。

每个支持向量到超平面的距离可以写为：

由y(wTx+b)>1>0可以得到y(wTx+b)=|wTx+b|，所以可以将支持向量到超平面距离改写为：

最大化这个距离：

这里乘上 2 倍是为了后面推导方便，对目标函数没有影响。

带入一个支持向量，可以得到：

所以得到的最优化问题是：

处理异常值

有时，对于某些点（x（i），y（i）），分类器可能会做出错误操作。

尽管在开发实际使用的SVM模型时，会设计冗余，避免过拟合，但仍然需要想办法将误差控制在一个较小的范围。

可以通过在模型中增加惩罚机制（用c表示）解决这个问题。

设SVM输出结果为E，则上图中出现的E=0则没有惩罚。

若果c非常大，则模型分类更加精准，但支持向量到超平面距离小，容易出现过拟合。

若c=1，则支持向量到超平面距离最大化，尽管会出现一些分类误差，但这是一种较好的方案。

约束凸优化问题

为了克服约束凸优化问题，采用PEGASOS算法。

重新构造一个约束独立性方程：

上式表示，如果点远离直线，则误差将为零，否则误差将为（1-t（i））。

我们需要最小化的是：

由于消除了约束，因此可以采用梯度下降来最大程度地减少损失。

梯度下降算法计算损失：

在SVM上应用梯度下降：

非线性分类

使用SVM对非线性数据进行分类，需要将数据投影到更高的维度，即通过增加低维数据的特征向量将其转换为高维数据。

增加数据特征向量需要消耗巨大的计算资源，这里采用核函数。

而这种思路最难的点，是为你自己的模型选择一个合适的核函数。

这里推荐一种自动调参方法GridSearch。

将多种核函数（线性、RBF、多项式、sigmoid等）等标号，依次调用，找到一个最合适自己模型的。

定义一个变量params：

params = [{‘kernel’:[‘linear’, ‘rbf’, ‘poly’, ‘sigmoid’], ‘c’:[0.1, 0.2, 0.5, 1.0, 2.0, 5.0]}

调用：

以上详细介绍了SVM背后的数学原理，并提供了一些使用SVM模型时的问题解决办法。

其中，使用代码自动选择核函数的方法来自外国博主Daksh Trehan。

如果你对SVM的原理有更深刻的理解，或有其他实用的技巧，请留言分享给大家吧。

参考链接

https://medium.com/@dakshtrehan?source=post_page-----d46e94b23b9d----------------------

--END--

双系统的日子结束了：Windows和Linux将合二为一

Python抓取国家医疗费用数据：哪个国家花得最多、哪个国家花得最少？

最全的损失函数汇总

微软放弃的游戏被他们复活了：Windows经典「三维弹球」现实版，CAD建模、Arduino编程、数控机床打造，硬核致敬童年

1行代码实现Python数据分析：图表美观清晰，自带对比功能！已开源

如何用 Python 让你的PPT数据动起来？

喜欢本文的朋友们，欢迎长按下图关注订阅号Python人工智能技术

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.