数学建模

一：什么是主成分分析？

        主成分分析是分析多个变量之间相关性的一种多元统计方法,研究如何通过少数几个主成分来解释多个变量之间的内部结构，即从原始变量中导出几个主分量，使他们尽可能多的保留原始变量的信息，且彼此间互不相关；

主成分分析的目的：数据的压缩+数据的解释

常被用来寻找判断事物或现象的综合指标，并对综合指标所包含的信息进行适当的解释

主成分分析的基本思想（以两个变量为例）：

1：对这两个变量所携带的信息进行浓缩处理

2：假定只有两个变量x1,x2,由散点图可见两个变量存在相关关系（例如这些点都近似存在于y=x这条直线上，x1=x2,这意味着两个变量提供的信息有重叠，如果不加处理，会消耗大量的时间精力处理数据。

3：如果把两个变量用一个变量来表示，同时这一个新的变量又尽可能包含原来的两个变量的信息，这就是降维的过程。

根据初始坐标轴x1x2，可看出所有数据点均可近似的看成存在于y=x的曲线上，现在将坐标轴旋转用于产生新的变量,变换后的坐标轴为y1,y2,此时变量y1,y2间看不到明显的函数关系,同时发现变量y1分布宽度更长，跨度比较大，说明变量y1包含了更大的信息量，且y1数据间变化更大，波动更大，进而方差更大，同时y2分布更窄，即变量y2所携带的信息量更小,对建模的结果的影响微乎其微,例如：通过一个班的考试成绩评估一个学生综合成绩的好坏，语文成绩相差很大且分布在各个阶段，每个人之间的成绩差异很大，重分的很少，而数学成绩全部分布在135左右，且相差不大，重分的人很多，那么你要评价一个学生综合成绩的好坏，不是只需要通过语文成绩的数据就可以分析了吗？，所以对于此例，我仅仅用y1的长轴就可以替换y2)

y1与x1,x2的关系

y1=a1x1+a2x2（保留数据）

y2=a3x1+a4x2（删除数据）

此时就将原来的x1,x2两个变量替换为y1,实现数据降维

所以主成分分析最关键的是找到旋转坐标轴的参数a1,a2，实现y和x1,x2逻辑关系

主成分分析就是设法将原来众多具有一定相关性的变量（如p个变量),重新组合成一组新的相互无关的综合变量来代替原变量

通常数学上的处理就是将原来p个变量作线性组合作为新的综合变量

如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望F1尽可能多的反映原来变量的值，如何反映？

最经典的方法就是使用方差来表达，即van(F1)越大，表示F1包含的信息越多，在所有的线性组合中方差最大的称为第一主成分

如果第一主成分不足以代表原来p个变量的信息，在考虑选取F2即第二个线性组合，F2称为第二主成分，那么F1F2间有何关系呢？

为了有效地反映原来的信息，F1已有的信息不要再出现在F2中，即Y1Y2协方差为0，即cov（Y1,Y2)=0，因此这些主成分之间是互不相关的，而且方差依次递减，以此类推可能会得到多个主成分，那么什么时候结束呢？

各主成分的累计方差贡献率>80%或特征根>1

 要从原来的所有变量得到新的综合变量，一种较为简单的方法是做线性变换，使新的综合变量为原变量的线性组合

对于任意常数c,有

        var(cF1)=var(F1)

为了使方差var(F1)可比较，要求线性组合的系数满足规范化体条件

即，线性组合中各变量的前置系数平方和为1

要求原始变量之间存在一定的相关性（相关系数分析：pearson,spearman见我空间）

要求各个综合变量间互不相关，即协方差为0

为了消除变量量纲不同对方差的影响，通常对数据进行标准化处理，变量之间的协方差即为相关系数

能否做主成分分析的两大检验

1：KMO检验结果>0.5

2：Bartlett's检验