【线性代数】4

Abstract: 本篇主要介绍的就是向量的映射，以映射到直线为引导，重点在于映射到子空间。Keywords: Projections，Projection Onto a Subspace

映射，投影，感觉怎么翻译都不太对，总能想到函数，不过好像在这部分，投影矩阵和函数的功能非常类似。在典型的三维正交基向量空间内，一个向量的投影到一个平面上一般是下面这种形式：

向量b投影到xy平面，和b投影到z轴的一种几何上的反应，当然超过三维，就没办法画出来的，但是原理都一样，通过垂直（正交），将不在子空间的向量转换到子空间内最接近原始向量 $\vec{b}$ 的投影向量 $\hat{\vec{b}}$来近似原始向量，这种方法在最小二乘法中得到了完美的应用，以及后面将要做的一些分解，上一篇提到的split（分解到子空间的split），都可以利用projection的原理。继续解读上图，向量被分级到了正交的两个子空间，xy平面，和z轴，这两个子空间互为orthogonal complements，并且满足下面两种关系：$$\vec{p_1}+\vec{p_2}=\vec{b}\\P_1+P_2=I$$第一个式子就是个典型的split，比如物理里面力的分解，速度分解，都是把向量分解到你想要的方向，然后我们把向量分解到orthogonal complements的子空间中，就得到了我们想要的projection第二个式子是projection matrix之间的关系，这里可以轻易的看出来，映射到xy平面$P_1=\begin{bmatrix}1&0&0\\0&1&0\\0&0&0\end{bmatrix}$，同理到z轴的就是$P_2=\begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}$，可以看出$P_1+P_2=I$。

把一个向量 $\vec{b}$ 映射到一条直线$a$，等价于问题类似于把一个向量projection到另一个向量上，这个和我们之前学习的dot product有点像，如果$$when\,|\vec{i}|=1\\\vec{b} \cdot \vec{i}=|\vec{b}||\vec{i}|cos(\theta)=|\vec{b}|cos(\theta)$$其中夹角就是下图中 $\theta$

可以看到映射到向量a上等价于和a方向上的单位向量dot product,假设 $\vec{p}$ 是 $\vec{b}$ 的投影结果，那么 $\vec{i}=\frac{\vec{a}}{|\vec{a}|}$$$|\vec{p}|=|\vec{b}|cos(\theta)=\vec{b} \cdot \vec{i}=\vec{b} \cdot \frac{\vec{a}}{|\vec{a}|}\\\vec{p}=|\vec{p}|\vec{i}=|\vec{p}|\frac{\vec{a}}{|\vec{a}|}\\so:\\\vec{p}=\frac{\vec{b}\cdot\vec{a}}{|\vec{a}||\vec{a}|}\vec{a}$$把向量中的dot product都换成转置相乘的模式就得到了$$\vec{p}=\frac{\vec{b}^T\vec{a}}{\vec{a}^T \vec{a}}\vec{a}$$没错，跟书上的推到方式不太一样，但是，从另一个角度得出了正确结论，其实这段不算困难，只是符号和向量长度的问题，但是由于在草稿纸上没写清楚，刚才有不得不重新推到了一边跟书上不一样是因为系数转置的原因，除法最后得出的是个数字，所以把它转置不影响结果：$$\vec{p}=(\frac{\vec{b}^T\vec{a}}{\vec{a}^T \vec{a}})^T\vec{a}=\frac{\vec{a}^T\vec{b}}{\vec{a}^T \vec{a}}\vec{a}$$这样就得出了和书上一样的结论，书上是通过正交得出的结论，在介绍书上的办法之前要说一个我刚发现的很基础的东西，就是向量连续乘法和矩阵（非向量矩阵）连续乘法不一样，矩阵连续乘法可以结合，向量不可以，比如我们用矩阵规模来解释一下$$ABC:(2 \times 3)(3 \times 4)(4 \times 5)=(2 \times 5)\\(AB)C=A(BC)\\$$但是对于向量：$$\vec{a}^T \vec{b}\vec{c}:(1 \times n)(n \times 1)(x \times y)=(x \times y)$$不可以结合，因为尺寸不满足需求，上面的变形中间就有这个问题，所以向量乘法结合律最好别用，用的话也自己搞好大家的尺寸，别最后对不上。

不错这个才是正统书上的方法，推到相对上面还要简单一些主要用到了一个向量的差与投影结果$\vec{p}$垂直这一关系，具体贴上原书两张图：

还是将 $\vec{b}$ 投影到 $\vec{a}$ ，假设得到的投影是 $\hat{x}\vec{a}$ ;可以得到一个差向量 $\vec{e}$ （这个向量其实就是后面最小二乘法的误差，error的缩写）有些时候我们必须把向量近似到一个空间，以方便进一步计算，这时候希望得到误差最小的近似，误差就是这个 $\vec{e}$ 的模长，并且这个 $\vec{e}$ 和 $\vec{a}$ 是垂直关系，也就是正交，那么就有了 $\vec{a}^T(\vec{b}-\hat{x}\vec{a})$=0,最后能求出投影长度 $\hat{x}$,$$\vec{p}=\hat{x}\vec{a}=\vec{a}\hat{x}=\vec{a}\frac{\vec{a}^T\vec{b}}{\vec{a}^T \vec{a}}$$下图就是详细的集合描述，大家不要过度依赖图片，因为有时候想象力更重要，因为一旦超过四维，图就没有了，只能靠想象和逻辑推导了。

根据上面公式可以得出投影矩阵$$\vec{p}=P\vec{b}=\frac{\vec{a}\vec{a}^T}{\vec{a}^T \vec{a}}\vec{b}\\So:\\P=\frac{\vec{a}\vec{a}^T}{\vec{a}^T \vec{a}}$$

这个投影矩阵是投影到向量a的，同理，其实可以投影到向量e所在的直线，因为 $\vec{e}=\vec{b}-\vec{p}$ 所以可以得出下面等式：$$\vec{e}=\vec{b}-P\vec{b}=(I-P)\vec{b}$$那么这样的话， $(I-P)$ 也是一个投影矩阵，投影到向量e所在直线的投影矩阵。

如果 $\vec{a}$ 和 $\vec{b}$ 在同一条直线上，那么可以得出 $P\vec{b}=\vec{b}$;如果 $\vec{a}$ 和 $\vec{b}$ 垂直，那么$P\vec{b}=0$;这里的投影矩阵相当于一个函数映射，把一个矩阵垂直的映射到另一个向量，这个投影矩阵就是我们非常关心，也具有很多有趣性质的矩阵 P

上面说的映射到直线，用一个向量就能准确的描述出直线的方向，但是对于子空间，最好的描述方式就是basis，把basis作为列组合到一起，就是矩阵B，子空间就是B的列空间。这样更方便下面的计算，投影到子空间 $C(B)$ ,这次试用书中映射到直线的类比方法，假设 $\vec{a}$ 向 $C(B)$ 投影得到向量 $\vec{p}=B\hat{x}$ ，这样我们就可以得到 $\vec{e}$ 了,并且 $\vec{e}$ 正交于子空间 $C(B)$ ，那么$$\vec{e}= \vec{a}-B\hat{x}\\(col(B)_i)^T\vec{e}=0\\B^T\vec{e}=0$$B的每一列都是一个basis，向量e和每一个basis都正交，也就是B的任一一列，故 $B^T\vec{e}=0$.那么就可以按照上面直线的方法继续向下计算了$$B^T(a-B\hat{x})=0\\\vec{p}=B\hat{x}=\frac{BB^T}{B^TB}\vec{a}\\P=\frac{BB^T}{B^TB}$$思维过程和直线相似，就不在详细描述这里指的注意的是。

解释：$B^TB$ 的逆，存在且仅存在于当B的所有列线性独立证明，检查$B^TB$ 的nullspace$$B^TB\vec{x}=0\\B^T(B\vec{x})=0\\for: \, B^T\neq 0\\so: \, B\vec{x}=0$$也就是说 $B^TB$ 的Nullspace和 $B$ 的 Nullspace是相同的，如果想可逆，那么nullspace必须只有0，所以B必须是线性独立的，证毕。$B^TB$ 得到的是个小的方矩阵（对称，可逆），如果是 $BB^T$ 得到的是个大方阵，怎么搞的都不会可逆（但是依然对称），他的rank就B的rank。另外P还有些小性质：