数据分析与挖掘

2024-07-06 02:24| 来源: 网络整理| 查看: 265

数据分析与挖掘———SPSS Moderler 一、Modeler给概述 1、SPSS Modeler基本认识

IBM SPSS Modeler是一组数据挖掘工具，通过这些工具可以采用商业技术快速建立预测性模型，并将其应用于商业活动，从而改进决策过程。 SPSS Modeler提供了各种借助机器学习、人工智能和统计学的建模方法。通过建模选项板中的方法，可以根据数据生成新的信息以及开发预测模型。

2、SPSS Modeler的特点强大的数据读取功能丰富的数据处理方法图形化的数据探索方式核心挖掘算法简洁直观的模型评估性能卓越的三层体系架构二、数据读取与数据清洗 1、变量类型数据挖掘角度数值类型变量：连续性的数字（电话）定类型变量：分类型（性别）定序型变量：等级次序的变量（职称）数据储存角度整数型实数型字符串型时间型：时间段日期型时间戳型：时间点

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EhJ5hSy4-1664253911313)(:/b3469e892ded4d96b152720b81b71272)]

2、数据读取 txt文件

在源中把变量文件拖拽出来，右键–编辑–引入文件–修改编码查看结果，在输出中拉出表格连接（F2），运行（Ctrl+E）在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PjNJVOpB-1664253911314)(:/78b04ad4f61b4207966a9f7fd9966c01)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jDaNw57e-1664253911314)(:/b792d6bd3ee54f3bbe469a3ab3881a85)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lTwXx1dY-1664253911315)(:/a3d48b80df814ab59ba65cd5c2e94240)]

excel文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rTqQvFFQ-1664253911316)(:/cb44f0590f3546e0904e2a4cc149c517)]

spss文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BciceZaV-1664253911316)(:/e495aec4fd2947098f774bbe4690c147)]

数据库文件先建立数据源

管理面板–管理工具–ODBC数据源] [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Nds2wsjb-1664253911316)(:/7060ead992ae4be39876bab5a21487c1)] 在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kASWBPTb-1664253911317)(:/10da020a1ada49cfa7bd0143acce3b9f)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zYm6YtHX-1664253911317)(:/a8b13e26931a4199b3cb7e7c73621787)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U8SGHoeL-1664253911318)(:/a2cc6bbbd89844c5a97e90309298a544)]

在spss modeler操作

选择在这里插入图片描述

3、数据清洗缺失值分析及处理 step1：观察缺失值

在这里插入图片描述

step2：缺失值定义和缺失值处理（删除or插补）

通过对比发现是因为对于无效数据没有定义，所以导致系统没有排除出无效数据

缺失值的定义

1、先对数据通过类型进行实例化在这里插入图片描述

2、对缺失值进行定义在这里插入图片描述

3、利用数据审核进行输出观察在这里插入图片描述

缺失值的处理

经过缺失值/异常值的处理使完整字段和完整记录达到100%，那么处理完的数据才是完美的 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GyFRKZqt-1664253911321)(:/78186a7939194f5c97645a7151a687ff)]

方法一、缺失值删除

将数据中的缺失值直接删除从数据审核节点–>选择生成–缺失值过滤节点

方法二、缺失值插补

在这里插入图片描述

将数据中的缺失值进行其他数据的添补运行数据审核节点–>对缺失插补进行操作–>编辑后确定–>生成缺失值超节点在这里插入图片描述

在这里插入图片描述

最终得到：

在这里插入图片描述

异常值分析及处理异常值的定义

异常值是在数据集中与其他观察值有很大差距的数据点,它的存在，会对随后的计算结果产生不适当的影响，因此检测异常值并加以适当的处理是十分必要的。

异常值的类型单字段异常值某条或者多条字段的单个变量出现异常多字段异常值某条或者多条字段的多个变量出现异常异常值处理

异常值处理的原理在这里插入图片描述

处理步骤：数据审核节点–>质量操作–>生成在这里插入图片描述

在这里插入图片描述

重复值处理

在这里插入图片描述

（这个最后的输出应该是表格而不是审核节点）在这里插入图片描述

三、数据的基本分析 1、数据质量分析

就是进行数据清洗，将数据质量达到100%

2、描述性统计分析

在这里插入图片描述

3、探索性分析

统计建模常常要求变量服从正态分布如果变量不服从正态分布，应对变量进行适当的转换处理。 SPSS Modeler提供了直观的图形方式用于变量的转换，大大缩短了变量分布探索的时间。

步骤：输出的变换节点读入数据选择字段运行生成函数图像–>选择符合正态分布的函数图像–>生成超节点变换–>表格输出在这里插入图片描述

4、二分类变量相关性分析

时间：01：37：26

在这里插入图片描述

➢二分类型相关性研究可以从图形分析入手，也可以采用数值方法进行分析。

问： ➢例如，基于电信客户数据，可分析客户流失与套餐类型、婚姻状况、电子支付等是否相关。

➢这里，基于电信客户数据，分析套餐类型的分布特征，以及流失客户在不同套餐类型上的分布。

图形分析分类图：

网络图：

在这里插入图片描述

列联分析

图形分析并不能准确反映二分类型之间精确的相关程度，因此进行数值分析是必要的，数值分析通常采用的方法是列联分析。

列联分析包括两个步骤:第一步，计算二分类型的列联表;第二步，分析列联表中行、列变量之间的.相关性。

问：这里，对电信客户数据进行数值分析，目标是.分析客户“流失”与“套餐类型”是否相关。在这里插入图片描述

在这里插入图片描述

5、变量的重要性分析

时间：01：49：05

变量重要性概念： ◆从变量本身看，重要的输入变量应是携带信息较多的变量,也就是方差较大的变量。 ◆从变量与目标变量的相关性角度看，重要变量应对目标变量的分类预测有显著意义。在这里插入图片描述

四、统计图

时间：01：51：42

1、逻辑回归分析

时间：01：53：02

逻辑回归概念逻辑回归分类:二项分类逻辑回归，多项分类逻辑回归。底层原理:假设因变量y服从伯努利分布，Sigmoid映射函数的引入。逻辑回归算法流程收集数据准备数据分析数据训练算法测试算法使用算法逻辑回归案例

问：

◆现有一份顾客购买意愿数据表,文件名为: [购买判断.sav] ◆现需从顾客信息数据中，寻找顾客购买意愿的影响因素并训练模型用来预测。在这里插入图片描述

2、关联分析 Apriori算法

时间：02:05:57

问：

以超市会员顾客购物信息.txt为例(1000名顾客)存储格式:事实表个人信息:会员卡号、消费金额、支付方式、性别、是否户主、年龄、收入;一次购买商品的信息:果蔬、鲜肉、奶制品、蔬菜罐头、肉罐头、冷冻食品、啤酒、葡萄酒、软饮料、鱼、糖果。目标1:分析商品之间的关联性，为超市提供决策。目标2:在顾客已买商品的情况下预测可能性商品的连带购买

注意将食品项的角色分配为任意在这里插入图片描述