线性代数中的基础概念(1)：常见符号表示，向量范数与矩阵范数

本文的主要内容：

\mathbb{R} : 实数集

\mathbb{C} : 复数集

\mathbb{R}^n : n维实数空间

\mathbb{C}^n : n维复数空间

\mathbb{R}^{m\times n} : 所有m \times n的实矩阵构成的集合

\mathbb{C}^{m\times n} : 所有m \times n的复矩阵构成的集合

\mathbf{x} : 列向量

[\mathbf{x}]_i, x_i : 向量\mathbf{x}的第i个元素

\mathbf{A} :矩阵

a_{ij}, [\mathbf{A}]_{ij}:矩阵第i行的第j个元素

向量：\mathbf{x} \in \mathbb{R}^n即

\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}, x_i \in \mathbb{R}, i \in \{1, 2, \cdots, n\}\\

向量的转置：\mathbf{x} \in \mathbb{R}^n, \mathbf{x}^T = [x_1, x_2, \cdots, x_n] (列向量转置成为了行向量)

向量的共轭转置：\mathbf{x} \in \mathbb{C}^n, \mathbf{x}^H = [x_1^*, x_2^*, \cdots, x_n^*]（x_i与x_i^*互为共轭）

矩阵:\mathbf{A} \in \mathbb{R}^{m \times n}即

\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & & & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\ \end{bmatrix} = \begin{bmatrix} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n \end{bmatrix}, a_{ij} \in \mathbb{R}, \mathbf{a}_j \in \mathbb{R}^m, i \in \{1, 2, \cdots, m\}, j \in \{1, 2, \cdots, n\}\\

矩阵的转置：\mathbf{A} \in \mathbb{R}^{m \times n}

\mathbf{A}^T = \begin{bmatrix} a_{11} & a_{21} & \cdots & a_{m1} \\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & & & \vdots \\ a_{1n} & a_{2m} & \cdots & a_{mn} \\ \end{bmatrix} \in \mathbb{R}^{n \times m}, \mathbf{B} = \mathbf{A}^T \Leftrightarrow b_{ij} = a_{ij}\\

性质：

矩阵的共轭转置：\mathbf{A} \in \mathbb{C}^{m \times n}

\mathbf{A}^H = \begin{bmatrix} a_{11}^* & a_{21}^* & \cdots & a_{m1}^* \\ a_{12}^* & a_{22}^* & \cdots & a_{m2}^* \\ \vdots & & & \vdots \\ a_{1n}^* & a_{2m}^* & \cdots & a_{mn}^* \\ \end{bmatrix} \in \mathbb{R}^{n \times m}, \mathbf{B} = \mathbf{A}^H \Leftrightarrow b_{ij} = a_{ij}^*\\

性质：

矩阵的迹（trace）： \mathbf{A} \in \mathbb{R}^{n \times n}, tr(\mathbf{A}) = \sum_i^n a_{ii}

性质：

\mathbf{0} 表示一个元素全为0的向量或矩阵

\mathbf{1} 表示一个元素全为1的向量或矩阵

单位向量：\mathbf{e}_i = [0, \cdots, 0, 1, 0 \cdots, 0]^T，\mathbf{e}_i只有一个位置为1，其余是0

单位矩阵（identity matrix）：

\mathbf{I} = \begin{bmatrix} 1 & & & \\ & 1 & & \\ & & \ddots & \\ & & & 1 \end{bmatrix}\\

对角矩阵（diagonal matrx）：

\text{diag}(a_1, \cdots, a_n) = \begin{bmatrix} a_1 & & \\ & \ddots & \\ & & a_n \end{bmatrix}\\

上三角矩阵（upper triangle matrix）

\mathbf{L} = \begin{bmatrix} l_{11} & l_{12} & \cdots & l_{ln} \\ & l_{22} & \cdots & l_{2n} \\ & & \ddots & \vdots\\ & & & l_{nn} \end{bmatrix}\\

关于上三角矩阵：

下三角矩阵（lower triangle matrix）

\mathbf{U} = \begin{bmatrix} u_{11} & & & \\ u_{12} & u_{22} & & \\ \vdots & \vdots & \ddots & \\ u_{1n} & u_{2n} & \cdots & u_{nn} \end{bmatrix}\\

关于下三角矩阵：

如\mathbf{x} = [x_1, x_2, \cdots, x_n]^T \in \mathbb{R}^n, \mathbf{y} = [y_1, y_2, \cdots, y_n]^T \in \mathbb{R}^n, \alpha \in \mathbb{R},

首先要补充一点，向量的外积。我们通常看到的都是向量的内积，也就是这种形式\mathbf{x}^T \mathbf{y}, 行向量和列向量相乘，得到一个标量。但其实列向量也可以和行向量相乘的，只不过得到的是一个秩为1的矩阵，这个就是向量的外积。

\mathbf{x} \mathbf{y}^T = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix} \begin{bmatrix} y_1 & y_2 & \cdots & y_n \end{bmatrix} = \begin{bmatrix} x_1 y_1 & x_1 y_2 & \cdots & x_1 y_n \\ x_2 y_1 & x_2 y_2 & \cdots & x_2 y_n \\ \vdots & \vdots & & \vdots \\ x_m y_1 & x_m y_2 & \cdots & x_m y_n \\ \end{bmatrix}\\

矩阵乘法的两种计算方式：

若\mathbf{A} \in \mathbb{R}^{m \times n}, \mathbf{B} \in \mathbb{R}^{n \times k}

\mathbf{AB} = \begin{bmatrix} \mathbf{a}_1^T \\ \mathbf{a}_2^T \\ \vdots \\ \mathbf{a}_m^T \\ \end{bmatrix} \begin{bmatrix} \mathbf{b}_1 & \mathbf{b}_2 & \cdots & \mathbf{b}_k \end{bmatrix}= \begin{bmatrix} \mathbf{a}_1^T\mathbf{b}_1 & \mathbf{a}_1^T\mathbf{b}_2 & \cdots & \mathbf{a}_1^T\mathbf{b}_k\\ \mathbf{a}_2^T\mathbf{b}_1 & \mathbf{a}_2^T\mathbf{b}_2 & \cdots & \mathbf{a}_2^T\mathbf{b}_k\\ \vdots & \vdots & & \vdots \\ \mathbf{a}_m^T\mathbf{b}_1 & \mathbf{a}_m^T\mathbf{b}_2 & \cdots & \mathbf{a}_m^T\mathbf{b}_k\\ \end{bmatrix}\\\mathbf{AB} = \begin{bmatrix} \mathbf{a}_1 & \mathbf{a}_2 & \cdots & \mathbf{a}_n \end{bmatrix} \begin{bmatrix} \mathbf{b}_1^T \\ \mathbf{b}_2^T \\ \vdots \\ \mathbf{b}_n^T \\ \end{bmatrix} = \mathbf{a}_1 \mathbf{b}_1^T + \cdots + \mathbf{a}_n \mathbf{b}_n^T\\

只有方阵才可能存在逆矩阵。

注意：方阵是逆矩阵的必要条件，但不是方阵一定有逆矩阵。

若\mathbf{A}, \mathbf{B} \in \mathbb{R}^{n \times n}, \mathbf{AB = I}则说\mathbf{A}, \mathbf{B}互为逆矩阵，\mathbf{B = A}^{-1}。

非零向量\mathbf{x} \in \mathbb{R}^n的范数\|\mathbf{x}\|是一个正数，向量范数\|\mathbf{x}\|度量向量\mathbf{x}的长度。向量范数也可以用来度量2个向量距离的远近，如\|\mathbf{x-y}\|。由此可知范数应该是一个函数，需要将一个向量映射到实数空间\mathbb{R}，即\|\cdot\|:\mathbb{R}^n \rightarrow \mathbb{R}

同时我们要求向量范数满足以下3条性质：

常见的向量范数：

l_1-norm:\|\mathbf{x}\|_1 = \sum_{i=1}^n |x_i| (也被称为曼哈顿范数或出租车范数)

l_2 - norm: \|\mathbf{x}\|_2 = \sqrt{\sum_{i=1}^n |x_i|^2} = (\mathbf{x}^T \mathbf{x})^{\frac{1}{2}}（欧式范数）

\infty-norm: \|\mathbf{x}\|_{\infty} = \max_{i = 1, 2, \cdots, n}|x_i|

p-norm: \|\mathbf{x}\|_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}}

和向量范数的定义类似，能够将矩阵映射到一个实数，并满足4条基本性质的函数就是一种矩阵范数。矩阵范数不是对矩阵在空间中长度的一种度量！！！因为矩阵是线性空间中的一个线性变换，没法度量线性变换的长度。

矩阵范数需要满足的4条性质（假设\mathbf{A, B}可以相加或相乘）：

假设\mathbf{A} \in \mathbb{R}^{m \times n}, 常见的矩阵范数：

Frobenius范数：

\|\mathbf{A}\|_F^2 = \sum_{i=1}^m \sum_{j=1}^n|a_{ij}|^2 = \sum_{i=1}^m |\mathbf{A}_{i*}|_2^2 = \sum_{j=1}^n |\mathbf{A}_{*j}|_2^2 = \text{tr}(\mathbf{A^TA}) \\

诱导范数（induced norm）：

\|\mathbf{A}\|_p = \max_{x \neq 0} \frac{\mathbf{\|Ax\|_p}}{\|x\|_p} = \max_{\|x\|_p =1} \mathbf{\|Ax\|_p} \\

p=1的诱导范数（绝对值之和最大的列）：

\|\mathbf{A}\|_1 = \max_{\|x\|_1 =1} \mathbf{\|Ax\|_1} = \max_j \sum_{i=1}^m |a_{ij}| \\

p=2的诱导范数：

\|\mathbf{A}\|_2 = \max_{\|x\|_2 =1} \mathbf{\|Ax\|_2} \\

p=\infty的诱导范数（绝对值之和最大的行）：

\|\mathbf{A}\|_{\infty} = \max_{\|x\|_{\infty} =1} \mathbf{\|Ax\|_{\infty}} = \max_i \sum_{j=1}^n |a_{ij}| \\