【线性代数】6

Abstract: 线性代数重点，关于矩阵特征值特征向量的相关知识第一篇文章，简单介绍特征值Keywords: Eigenvalues，Eigenvectors，Sigular，Markov matrix，Trace，Imaginary Eigenvalues

线性代数看了也有一段时间了，做题考试怎么样不知道，但是整个框架现在已经渐渐明朗了起来，但是，我发现Prof. Strang的书写到这里才写了一半，也就是说他用半本书详细的讲述了线性代数整个基础知识体系，那么后半本书呢？分别是：application，numerical linear algebra，和complex vectors and matrix。应用和数值计算部分可以说是非常有用的，我记得上学的时候数值计算是一门单独的选修课，这么说我们的课程设计还是完整的，至于没学会，责任我一个人承担😆。接着说特征值，作为一个靠着图像处理入门的人，对特征值简直就是不可抗拒，说实话，真的对各种特征都有不必崇敬的心理，当然图像的各种特征值和eigenvalue还是不太一样，但是PCA里面就是Eigenvalue，当时简直是，觉得这个太厉害了，因为不懂所以觉的厉害，就像我90岁的姥姥觉得微信不可思议一样，不可思议源于无知，90岁的老人即使不识字不会用电话也不会被嘲笑，因为环境，历史，他们经历了我们无法了解的苦难，但是在象牙塔里天天王者荣耀，以至于什么都不懂，我觉得就应该感觉到羞愧了，没错，我很羞愧，所以在努力补救。

我们之前研究了很多关于 $Ax=b$ 的问题，研究针对一个稳定的问题(系统)，当系统处于动态情况下，我们之前的所有知识就不能继续帮助我们了，而eigenvalue在dynamic problem(WIKIPEDIA)上可以帮助我们解决很多问题（内心os：写到这个我才发现，Stang是从动态问题切入，引出eigenvalue，之前我还没发现，我说怎么一直在研究矩阵的n次方，如果有人问，你有没有好好备课就来写博客，我只能说，每次从新看书都有新发现）提出问题：$\frac{d\vec{u}}{dt}=A\vec{u}$ 这个微分方程怎么解？解随着时间不断变化，所以消元是不行了，这种问题常见于震荡，衰变等，在这些问题中，我们就要使用eigenvalue和eigenvector的一些厉害的特性了

注意，我们第六章所有矩阵都是方的方的方的。$Ax=b$ 我们之前已经详细的讲过了，第一种境界，就是方程组，第二种境界是向量的线性组合，第三境界就是子空间，但是问题是，b是个固定值，也就是说，b一旦确定，我们在子空间内就没办法动了，但是我们现在提出一个新的 $Ax=b’$ 这个 $b’$ 将不再是固定不变的，而且他和变量 $x$ 高度相关，没错$$Ax=\lambda x$$这个将是我们现行代数后半段的研究核心，从子空间的角度来观察一下这个式子，首先 $x$ 在 $A$ 的column space 中（因为等号右边都是在A的列空间中的），并且x通过矩阵 $A$ 投影到子空间后，方向不变，只是长度变了，这就是一个很好的性质了，我们想一下之前我们在研究projection的时候研究过，如果想把所有向量都投影到一个固定的方向上 $\vec{a}$，需要根据这个方向上的向量来确定投影矩阵【机器学习基础之线性代数】4-2:Porjections,这个求出来的投影矩阵对于所有 $\vec{a}$ 方向上的向量都能投影到其本身；而我们的 $Ax=\lambda x$与之相反是已知矩阵A，来求一个向量，能被映射到自己所在的方向上，但是不保证其长度不变，长度伸缩 $\lambda$上面和projection类比只是为了说明一个是求ptojection矩阵，一个是求方向向量；一个是自身投影到自身，一个是投影到自身并有缩放。写个表格吧(这部分不是书里的，是我刚想到的)

经过上图的对比，可以看出一些问题，尤其是右下角那个式子将会是我们接下来要研究的一个重要表现形式

哦，sorry忘了给各位介绍了上面说的 $\lambda$ 叫特征值，英文名 Eigenvalue（好像不是英文），$x$ 叫特征向量，英文名 Eigenvector（好像也不是英文）。我们来观察个矩阵的n次方的例子：$$A=\begin{bmatrix}.8&.3 \newline .2&.7\end{bmatrix}\\A^2=\begin{bmatrix}.70&.45 \newline .30&.55\end{bmatrix}\\A^3=\begin{bmatrix}.650&.525 \newline .350&.475\end{bmatrix}\\\vdots\\A^n=\begin{bmatrix}.6000&.6000 \newline .4000&.4000\end{bmatrix}\\$$这个不是我求出来的，我从书上抄过来的，如果有问题别找我，可以看出来，把一个矩阵连续的投影到列空间，经过一段时间后，就会趋于稳定，矩阵就会不在变化，这个结论表面看上去是这样的，但是没有理论证明啊，那么我们就来证明一下，但是首先我们要求一下特征值：$$Ax=\lambda x\\(A-\lambda I)x=0$$说明一下，按照上式的形式，并且根据规定其中 $x$ 不是0，我们求解特征值的问题就变成求解矩阵$A-\lambda I$ 了，如果x不是0，那么矩阵就必须是奇异的，也就是说矩阵中列一定是线性相关的，所以null space才会有非0向量，那么奇异矩阵的一个性质就是determinant为0，那么我们的特征值就是：$$det(A-\lambda I)=0\\$$行列式求法我们已知，其实这就是个n次方程了，n是矩阵的规模(长或者宽)，那么一般情况下我们会得到n个解，注意这里的解可以是0，也可以重复，也可以是复数，这些情况我们后面讨论，但是每个特征值都对应一个特征向量，带回到 $Ax=\lambda x$ 就可以得到两个特征向量了。那么上面的证明就可以这样写了，这里我们假设矩阵A可以得到两个不同方向的特征向量 $x_1,x_2$，具体证明后面给出：$$Ax_1=\lambda_1x_1 \dots \dots \dots (1) \\Ax_2=\lambda_2x_2 \dots \dots \dots (2) \\AA=\begin{bmatrix}A\cdot col(A)_1 & A\cdot col(A)_2\end{bmatrix}\\a_1=col(A)_1\\a_2=col(A)_2\\a_1=p_1x_1+p_2x_2\\a_2=q_1x_1+q_2x_2\\$$

$$Aa_1=A(p_1x_1+p_2x_2)=p_1Ax_1+p_2Ax_2\\$$plug (1) into $Aa_1$:$$Aa_1=\lambda_1p_1x_1+\lambda_2 p_2x_2\\A^2a_1=\lambda_1^2p_1x_1+\lambda_2^2 p_2x_2\\\vdots \\A^na_1=\lambda_1^np_1x_1+\lambda_2^n p_2x_2\\$$同理可以得到 $a_2$那么最后 $A^n$ 的结果就是:$$A^n=\begin{bmatrix}\lambda_1^{(n-1)}p_1x_1+\lambda_2^{(n-1)} p_2x_2 &\lambda_1^{(n-1)}q_1x_1+\lambda_2^{(n-1)} q_2x_2\end{bmatrix}$$

数学过程基本就是这个样子了，推到应该还算严谨，思路是把矩阵的列分解到以特征向量为基的表示形式，通过特征向量和矩阵乘积还等于特征向量的这个特征，能够继续迭代进行下去，如下图：

图中的数字是$A=\begin{bmatrix}.8&.3\newline .2&.7\end{bmatrix}$ 作为例子来分解的。最后还要用到极限的一些知识，首先来看两个特征值，$\lambda$ 他们要被n次方，所以如果：