无监督学习

机器学习 | 目录

机器学习 | 聚类评估指标

机器学习 | 距离计算

无监督学习 | KMeans与KMeans++原理

关于 KMeans 以及 KMeans++ 算法原理以及参数的意义，可以参考这篇文章：无监督学习 | KMeans与KMeans++原理

本文将着重讲 KMeans 算法的实现、 K 值的选取以及聚类结果可视化。

sklearn.cluster.KMeans

参数设置：

n_clusters: int, optional, default: 8

init: {‘k-means++’, ‘random’ or an ndarray}

n_init: int, default: 10

max_iter: int, default: 300

tol: float, default: 1e-4

precompute_distances: {‘auto’, True, False}

verbose: int, default 0

random_state: int, RandomState instance or None (default)

copy_x: boolean, optional

n_jobs: int or None, optional (default=None)

algorithm: “auto”, “full” or “elkan”, default=”auto”

Attributes：

cluster_centers_: array, [n_clusters, n_features]

labels_: array, shape (n_samples,)

inertia_: float

n_iter_: int

我们将使用的数据来自 MovieLens 用户评分数据集，根据用户对不同电影的评分研究用户在电影品位上的相似和不同之处。

该数据集有两个文件。我们将这两个文件导入 pandas dataframe 中：

现在我们已经知道数据集的结构，可以看到总共有 100004 条影评，对应于 9125 部影片。

电影的类型大致有：喜剧、浪漫、儿童、漫画…

我们想要看看在观众中，对于爱情片和科幻片的评分是否有明显的分类，我们通过计算每位用户对爱情片和科幻片的评分，并对数据集稍微进行偏倚（删除同时喜欢科幻片和爱情片的用户），使聚类能够将他们定义为更喜欢其中一种类型。

我们将大部分数据预处理过程都隐藏在了辅助函数 helper 中，并重点研究聚类概念。

可以看出我们有 183 位用户，对于每位用户，我们都得出了他们对看过的爱情片和科幻片的平均评分。 我们来绘制该数据集：

我们可以在此样本中看到明显的偏差（我们故意创建的）。如果使用 k 均值将样本分成两组，效果如何？

可以看出分组的依据主要是每个人对爱情片的评分高低。如果爱情片的平均评分超过 3 星，则属于第一组，否则属于另一组。

如果分成三组，会发生什么？

现在平均科幻片评分开始起作用了，分组情况如下所示：

再添加一组：

可以看出将数据集分成的聚类越多，每个聚类中用户的兴趣就相互之间越相似。

我们可以将数据点拆分为任何数量的聚类。对于此数据集来说，正确的聚类数量是多少？

可以通过多种方式选择聚类 k。我们将研究一种简单的方式，叫做“肘部方法”。肘部方法会绘制 k 的上升值与使用该 k 值计算的总误差分布情况。

其思想与网络搜索类似，通过遍历参数 K 来选取最小误差，我们这里选取轮廓系数（约接近 1 性能越好）来评价聚类性能。

现在的一个任务是对每个 k（介于 1 到数据集中的元素数量之间，以 5 为步长）执行相同的操作。

看了该图后发现，合适的 k 值包括 7、22、27、32 等（每次运行时稍微不同）。聚类 (k) 数量超过该范围将开始导致糟糕的聚类情况（根据轮廓分数）

我会选择 k=7，因为更容易可视化：

注意：当你尝试绘制更大的 k 值（超过 10）时，需要确保你的绘制库没有对聚类重复使用相同的颜色。对于此图，我们需要使用 matplotlib colormap Accent，因为其他色图要么颜色之间的对比度不强烈，要么在超过 8 个或 10 个聚类后会重复利用某些颜色。

到目前为止，我们只查看了用户如何对爱情片和科幻片进行评分。我们再添加另一种类型，看看加入动作片类型后效果如何。

现在数据集如下所示：

对三维数据进行聚类并通过三维平面图可视化。

我们依然分别用 x 轴和 y 轴表示科幻片和爱情片。并用点的大小大致表示动作片评分情况（更大的点表示平均评分超过 3 颗星，更小的点表示不超过 3 颗星 ）。

可以看出添加类型后，用户的聚类分布发生了变化。为 k 均值提供的数据越多，每组中用户之间的兴趣越相似。但是如果继续这么绘制，我们将无法可视化二维或三维之外的情形。在下个部分，我们将使用另一种图表，看看多达 50 个维度的聚类情况。

现在我们已经知道 k 均值会如何根据用户的类型品位对用户进行聚类，我们再进一步分析，看看用户对单个影片的评分情况。为此，我们将数据集构建成 userId 与用户对每部电影的评分形式。例如，我们来看看以下数据集子集：

NaN 值表明了一个问题。大多数用户没有看过大部分电影，并且没有为这些电影评分。这种数据集称为“稀疏”数据集，因为只有少数单元格有值。

为了解决这一问题，我们按照获得评分次数最多的电影和对电影评分次数最多的用户排序。这样可以形成更“密集”的区域，使我们能够查看数据集的顶部数据。

如果我们要选择获得评分次数最多的前 30 部电影和对电影评分次数最多的 18 个用户，则如下所示：

5 rows × 30 columns

这样更好分析。

我们还需要指定一个可视化这些评分的良好方式，以便在查看更庞大的子集时能够直观地识别这些评分（稍后变成聚类）。

我们使用颜色代替评分数字：

每列表示一部电影。每行表示一位用户。单元格的颜色根据图表右侧的刻度表示用户对该电影的评分情况。

注意到某些单元格是白色吗？表示相应用户没有对该电影进行评分。在现实中进行聚类时就会遇到这种问题。与一开始经过整理的示例不同，现实中的数据集经常比较稀疏，数据集中的部分单元格没有值。这样的话，直接根据电影评分对用户进行聚类不太方便，因为 k 均值通常不喜欢缺失值。

为了提高性能，我们将仅使用 1000 部电影的评分（数据集中一共有 9000 部以上）。

为了使 sklearn 对像这样缺少值的数据集运行 k 均值聚类，我们首先需要将其转型为稀疏 csr 矩阵类型（如 SciPi 库中所定义）。

要从 pandas dataframe 转换为稀疏矩阵，我们需要先转换为 SparseDataFrame，然后使用 pandas 的 to_coo() 方法进行转换。

注意：只有较新版本的 pandas 具有to_coo()。

将dataframe 转换为稀疏矩阵并进行聚类（随意选取 K=20，选择 k 的更佳方式如上述肘部方法所示。但是，该方法需要一定的运行时间），为了可视化其中一些聚类，我们将每个聚类绘制成热图：

需要注意以下几个事项：

我们选择一个聚类和一位特定的用户，看看该聚类可以使我们执行哪些实用的操作。

首先选择一个聚类：

聚类中的实际评分如下所示：

4 rows × 300 columns

从表格中选择一个空白单元格。因为用户没有对该电影评分，所以是空白状态。

因为该用户属于似乎具有相似品位的用户聚类，我们可以计算该电影在此聚类中的平均评分，结果可以作为她是否喜欢电影 “Forrest Gump (1994)” 的合理预测依据。

这就是我们关于她会如何对该电影进行评分的预测。

我们回顾下上一步的操作。我们使用 k 均值根据用户的评分对用户进行聚类。这样就形成了具有相似评分的用户聚类，因此通常具有相似的电影品位。基于这一点，当某个用户对某部电影没有评分时，我们对该聚类中所有其他用户的评分取平均值，该平均值就是我们猜测该用户对该电影的喜欢程度。

根据这一逻辑，如果我们计算该聚类中每部电影的平均分数，就可以判断该“品位聚类”对数据集中每部电影的喜欢程度。

这对我们来说变得非常实用，因为现在我们可以使用它作为推荐引擎，使用户能够发现他们可能喜欢的电影。

当用户登录我们的应用时，现在我们可以向他们显示符合他们的兴趣品位的电影。推荐方式是选择聚类中该用户尚未评分的最高评分的电影。、