数据挖掘与机器学习实验：回归算法

2024-02-03 01:07| 来源: 网络整理| 查看: 265

实验五：回归算法一、实验名称

实验：回归算法

二、实验目的

1.了解回归算法理论基础

2.平台实现算法

3.编程实现回归算法

三、实验原理

回归算法是监督型算法的一种，通过利用测试集数据来建立模型，再利用这个模型训练集中的数据进行处理的算法。线性回归旨在寻找到一根线，这个线到到达所有样本点的距离的和是最小的。常用在预测和分类领域。线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的-种统计分析方法，运用十分广泛。

四、实验步骤

1、使用线性回归算法进行房价预测。加载波士顿房价数据集，并且将数据集分割为训练集和测试集，创建线性回归模型并进行训练和预测，通过计算均方误差来进行模型的测评。

import numpy as np from sklearn.model_selection import train_test_split from sklearn.datasets import load_boston from sklearn.linear_model import LinearRegression from sklearn.preprocessing import PolynomialFeatures # 加载数据 data, target= load_boston(return_X_y=True) # 划分数据集 X_train,X_test,y_train,y_test = train_test_split(data,target,random_state=1) # 创建线性回归模型并进行训练 linear_model = LinearRegression() linear_model.fit(X_train,y_train) # 使用模型进行预测并计算mse y_predict = linear_model.predict(X_test) linear_mse = np.average((y_predict - np.array(y_test)) ** 2) linear_mse

2、使用多项式回归算法进行房价预测。创建多项式回归模型并进行训练和预测，多项式回归模型的创建，我们可以使用PolynomialFeatures方法将原始数据转换为其多项式特征值后，再使用线性回归训练构成多项式回归模型。进行模型的训练和预测后，通过计算均方误差来进行模型的测评。

# 创建多项式回归模型并进行训练 model = PolynomialFeatures(degree=2) X_transformed = model.fit_transform(X_train) poly_linear_model = LinearRegression() poly_linear_model.fit(X_transformed, y_train) # 使用模型进行预测并计算mse X_test1 = model.fit_transform(X_test) y_hat = poly_linear_model.predict(X_test1) poly_mse = np.average((y_hat - np.array(y_test)) ** 2) poly_mse

3、使用Ridge回归算法进行房价预测。线性回归的主要问题是对异常值敏感在真实世界的数据收集过程中，经常会遇到错误的度量结果，而线性回归使用的普通最小二乘法，其目标是使平方误差最小化，这时，由于异常值误差的绝对值很大，会引起问题，破坏模型。Ridge 回归是一种线性回归模型，它在普通最小二乘法的基础上引入了正则化项，以防止过拟合。正则化项通过惩罚系数 alpha 控制，alpha 越大，正则化项对模型的影响就越大。加载数据集，并将数据集分割为训练集和测试集，创建Ridge回归模型，寻找Ridge最优参数alpha，创建参数优化器GridSearchCV，将参数model，param_grid传入，GridSearchCV是为了寻找出model的alpha最优参数，进行模型的训练，使用最优参数的Ridge模型进行预测，计算其均方误差MSE，对均方误差取平方根，得到均方根误差RMSE，均方根误差是均方误差的平方根，它衡量了模型预测值与实际值之间的差异程度，是一种常用的回归模型性能评价指标。显示图像，并从图像中观察预测值是否准确。

# 引包 import numpy as np import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split from sklearn.datasets import load_boston from sklearn.model_selection import GridSearchCV from sklearn.linear_model import Ridge # 加载数据 data, target= load_boston(return_X_y=True) # 划分数据集 X_train,X_test,y_train,y_test = train_test_split(data,target,random_state=1) # 创建Ridge回归模型 model = Ridge() # 用logspace 函数来创建一个 alpha 候选列表，alpha 值是从 0.001 到 10 之间均匀分布的对数值 alpha_can = np.logspace(-3,1,10) # 创建参数优化器GridSearchCV，将参数model，param_grid传入 ridge_model = GridSearchCV(model, param_grid={'alpha': alpha_can}) # 模型的训练 ridge_model.fit(data,target) print('证参数:\n',ridge_model.best_params_) # 使用最优参数的Ridge模型进行预测 y_hat = ridge_model.predict(X_test) # 均方误差（MSE） mse = np.average((y_hat - np.array(y_test)) ** 2) # 对均方误差取平方根，得到均方根误差（RMSE） rmse = np.sqrt(mse) print(mse, rmse) #从图像中观察预测值是否准确 t = np.arange(len(X_test)) plt.plot(t,y_test,'r-', linewidth=2, label='Test') plt.plot(t, y_hat, 'g-', linewidth=2, label='Predict') # 显示图例 plt.legend(loc='upper right') # 添加网格线 plt.grid() # 显示图形 plt.show() 五、实验总结

通过本次的两个实验，分别使用线性和多项式回归以及Ridge 回归模型对波士顿房价数据集进行预测，对各个模型的使用有一定的了解。

【本文地址】

公司简介

联系我们

数据挖掘与机器学习 实验：回归算法

数据挖掘与机器学习实验：回归算法