数学建模之数据预处理(缺失值和异常值) | 您所在的位置:网站首页 › 异常数据处理常用方法excel › 数学建模之数据预处理(缺失值和异常值) |
1.缺失值 缺失值就是比赛提供的数据,发现有些单元格是null或空的。 1、缺失太多:例如调查人口信息,发现“年龄”这一项缺失了40%,就直接把该项指标删除 2、最简单处理:均值、众数插补 定量数据,例如关于一群人的身高、年龄等数据,用整体数据的平均值来补缺失 定性数据,例如关于一群人的性别、文化程度;某些事件调查的满意度,用出现次数最多的值补缺失 适用赛题:人口的数量年龄、经济产业情况等统计数据,对个体精度要求不大的数据 3、Newton插值法 根据固定公式,构造近似函数,补上缺失值,普遍适用性强。 缺点:区间边缘处的不稳定震荡,即龙格现象。不适合对导数有要求的题目 适用赛题:热力学温度、地形测量、定位等只追求函数值精准,而不关心变化的数据。 4、样条插值法 用分段光滑的曲线去插值,光滑意味着曲线不仅连续,还要有连续的曲率 适用赛题:零件加工,水库水流量,图像“基线漂移”,机器人轨迹等精度要求高、没有突变的数据 (该三种方法足够用) 2.异常值 例如一组身高的数据,大部分数据都是一点几米,突然蹦出个5米,显然和其他数据差异过大,属于异常值。 处理方法有两种:正态分布3σ原则,和画箱型图。 1、正态分布3σ原则 数值分布在(μ-3σ,μ+3σ)中的概率为99.73%,其中μ为平均值,σ为标准差。 求解步骤:1.计算均值μ和标准差σ;2.判断每个数据值是否在(μ-3σ,μ+3σ)内,不在则为异常值。 适用题目:总体符合正态分布,例如人口数据、测量误差、生产加工质量、考试成绩等。 不适用题目:总体符合其他分布,例如公交站人数排队论符合泊松分布 2、画箱型图 箱型图中,把数据从小到大排序。下四分位数𝑄1是排第25%的数值,上四分位数𝑄3是排第75%的数值。 四分位距𝐼𝑄𝑅 = 𝑄3- 𝑄1,也就是排名第75%的减去第25%的数值 正态分布类似,设置个合理区间,在区间外的就是异常值。 一般设[𝑄1−1.5∗𝐼𝑄𝑅, 𝑄3+1.5∗𝐼𝑄𝑅]内为正常值。 找到异常值后,就当这个异常值是个缺失值,按缺失值的处理方法即可。 |
CopyRight 2018-2019 实验室设备网 版权所有 |