通过简单的暴力求解的方式实现KNN算法

一、

KNN

回顾

k 

近邻学习是一种常用的监督学习方法，比如：判断一个人的人品，只需要观察与他来往

最密切的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑”

。

理论

/

原理：

“物以类聚，人以群分”

相同

/

近似样本在样本空间中是比较接近的，所以可以使用和当前样本比较近的其他样本

的目标属性值作为当前样本的预测值。

k 

近邻法的工作机制很简单：

给定测试样本，基于某种距离度量（一般使用欧几里德距离）找出训练集中与其最靠近的

k

个训练样本，然后基于这

k

个“邻居”的信息来进行预测。

二、

KNN

三要素

1

、

K

值的选择

对于

K

值的选择，

一般根据样本分布选择一个较小的值，

然后通过交叉验证来选择一个比

较合适的最终值；

当选择比较小的

K

值的时候，

表示使用较小领域中的样本进行预测，

训练误差会减小，

但

是会导致模型变得复杂，容易导致过拟合；

当选择较大的

K

值的时候，

表示使用较大领域中的样本进行预测，

训练误差会增大，

同时

会使模型变得简单，容易导致欠拟合；

2

、距离度量

一般使用欧几里德距离

关于距离度量，还有其他方式

3

、决策规则

KNN

在做回归和分类的主要区别在于最后做预测时的决策方式不同：

（

1

）分类预测规则：一般采用多数表决法或者加权多数表决法