首先我们知道一元高斯分布是：\(N(x|u,\sigma^2)=\frac{1}{\sqrt{2\pi \sigma^2}}exp[-\frac{1}{2\sigma^2}(x-u)^2]\), 拓展到高维时：

其中，\(\overline x\) 表示维度为 D 的向量，\(\overline u\) 则是这些向量的平均值，\(\Sigma\) 表示所有向量 \(\overline x\) 的协方差矩阵。

现在进行推导。为了简单起见，假设所有变量都是相互独立的，即对于概率分布函数 \(f(x_0,x_1,…,x_n)=f(x_0)f(x_1)...f(x_n)\) 成立。

假设有很多变量 \(\overline x=\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}\)，它们的均值为 \(\overline u=\begin{bmatrix} u_1 \\ u_2 \end{bmatrix}\)，方差为 \(\overline \sigma=\begin{bmatrix} \sigma_1 \\ \sigma_2 \end{bmatrix}\)。

由于 \(x_1\)，\(x_2\) 是相互独立的，所以，\(\overline x\) 的高斯分布函数可以表示为：

接下来，为了推出文章开篇的高维公式，我们要想办法得到协方差矩阵 \(\Sigma\)。 对于二维的向量 \(\overline x\) 而言，其协方差矩阵为：

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。简单来讲，协方差就是衡量两个变量相关性的变量。当协方差为正时，两个变量呈正相关关系（同增同减）；当协方差为负时，两个变量呈负相关关系（一增一减）。 而协方差矩阵，只是将所有变量的协方差关系用矩阵的形式表现出来而已。通过矩阵这一工具，可以更方便地进行数学运算。协方差公式为：

这样矩阵中之中每个元素 \(\Sigma_{ij}=\frac{(样本矩阵第i列-第i列均值)^T(样本矩阵第j列-第j列均值)}{样本数-1}\) 当\(X\), \(Y\)两个变量独立时，\(Cov(X,Y)\)为0：

由于 \(x_1\)，\(x_2\) 是相互独立的，所以 \(\sigma_{12}=\sigma_{21}=0\)。这样，\(\Sigma\) 退化成 \(\begin{bmatrix} \sigma_1^2 & 0 \\ 0 & \sigma_{2}^2 \end{bmatrix}\)。 则 \(\Sigma\) 的行列式 \(|\Sigma|=\sigma_1^2 \sigma_2^2\)，代入公式 (4) 就可以得到：

这样一来，我们已经推出了公式的左半部分，下面，开始处理右面的 exp 函数。 原始的高维高斯函数的 exp 函数为：\(exp[-\frac{1}{2}(\overline x-\overline u)^T\Sigma^{-1}(\overline x-\overline u)]\)，根据前面算出来的 \(\Sigma\)，我们可以求出它的逆：\(\Sigma^{-1}=\frac{1}{\sigma_1^2 \sigma_2^2} \begin{bmatrix} \sigma_2^2 & 0 \\ 0 & \sigma_1^2 \end{bmatrix}\)。 接下来根据这个二维的例子，将原始的 exp() 展开：

展开到最后，发现推出了原公式。说明原公式 \(N(\overline x | \overline u, \Sigma)=\frac{1}{(2\pi)^{D/2}}\frac{1}{|\Sigma|^{1/2}}exp[-\frac{1}{2}(\overline x-\overline u)^T\Sigma^{-1}(\overline x-\overline u)]\)是成立的。

如果给定了很多数据点，并且知道它们服从某个高斯分布，我们要求高斯分布的参数（\(μ\) 和 \(Σ\)），估计模型参数的方法有很多，最常用的就是极大似然估计（MLE）。对于一维的高斯模型假如有m个数据点，则似然函数:

取对数后求导，令导数为 0 得到似然方程。

得到 \(\tilde \mu=\frac{1}{m}\sum_{i=1}^m{x_i}\)，\(\sigma=\sqrt{\frac{1}{m}\sum_{i=1}^m{(x_i-\tilde \mu)^2}}\)

多维高斯分布时，假如有 \(m\) 个 \(p\) 维向量 \(x\)，参数估计为：

在计算样本协方差矩阵时，我们要使用无偏估计，即将分母由 \(m\) 改为 \((m-1)\)。

假设\(p(x_1)=\mathcal{N}(x\vert \mu_1,\sigma_1), \, p(x_2)=\mathcal{N}(x\vert \mu_2,\sigma_2)\)均是关于变量 \(x\)的分布，得两个高斯分布相乘仍为缩放的高斯分布：

则高斯分布的参数:

上式可写为如下形式，从而推广至\(n\)个一维高斯分布相乘：

新函数等价于正态分布 \(N(\mu,\sigma^2)\) 的概率密度函数乘以缩放因子 \(A\) 。其中，缩放因子\(A=\frac{e^{-\frac{\left(\mu_1-\mu_2\right)^2}{2(\sigma_1^2+\sigma_2^2)}}}{\sqrt{2\pi\left( \sigma_1^2+\sigma_2^2\right)}}\)

两个高斯分布函数直接相加，很明显不是一个高斯函数。如果两个满足高斯分布的随机变量相加，那么他们的和还是一个高斯分布。具体的，如果 \(X\sim N(\mu _{X},\sigma _{X}^{2})\), \(Y\sim N(\mu _{Y},\sigma _{Y}^{2})\)，\(Z=X+Y\) 那么 $$ Z\sim N(\mu _{X}+\mu _{Y},\sigma _{X}^{2}+\sigma _{Y}^{2})$$

需要用到卷积运算：\(\displaystyle (f*g)(n)=\int_{-\infty}^{\infty}f(\tau)g(n-\tau)d\tau\)

所以，Z的概率密度函数为：

当\(X，Y\)为独立随机变量时，\(Z\)的概率密度为\({\displaystyle f_{Z}(z)=\int _{-\infty }^{\infty }f_{Y}(z-x)f_{X}(x)\,dx}\)

法二：使用特征函数证明 高斯分布的特征函数为：

所以，

高斯线性系统推导如下：

\(y\) 由 \(\mathbf{x}\) 产生，在观测到 \(y\) 后可以对 \(\mathbf{x}\) 进行更新（update）： \(p(x\vert y) = \mathcal{N}(\mu_{x\vert y},\Sigma_{x\vert y})\)，没观测到 \(y\) 可以对其预测（predict）\(P(y)\) 下面对\(\mu_{x\vert y},\Sigma_{x\vert y}\)进行计算。已知\(p(x,y)=p(y\vert x)p(x)\)，\(p(y\vert x)p(x)\)的指数部分为：

通过配方可以得到：

下面对 \(p(y)\) 进行求解，我们知道 \(p(y)=\int p(y\vert x)p(x) dx \text{，}p(x)p(y\vert x)=p(y)p(x\vert y)\) 通过上述的式子，如果对上式求积分或者配方会有些复杂。实际上，通过上式可以得到 \(p(x,y)\) 逆协方差矩阵：

利用联合高斯分布的推断结论，可以得到：

可以推知：\(\mu_y=A\mu_0+b\), 再对\(\Sigma_y'\)（这里\(\Sigma_y'\)表示\(p(y)\)的协方差矩阵）进行计算：

因此 \(\Sigma_y'=\Sigma_y+A\Sigma_0 A^T\)，\(p(y)\) 的分布参数如下：

多元正态分布有4种等价的定义。

设 \(U=\left(U_{1}, U_{2}, \cdots, U_{q}\right)^{\prime}\) 为随机向量， \(U_{1}, \cdots, U_{q}\) 独立服从标准正态。设 \(\mu\) 为 \(p\) 维常数向量， \(A\) 为 \(p \times q\) 维常数矩阵，则称 \(X=A U+\mu\) 的分布为 \(p\) 元正态分布，或称 \(X\) 为 \(p\) 维正态随机向量，记作 \(X \sim N_{p}\left(\mu, A A^{\prime}\right)\)

在概率论中，任何随机变量的特征函数（ch.f）完全定义了它的概率分布。在实直线上，它由以下公式给出，其中X是任何具有该分布的随机变量： \(\varphi _ X(t) = E[e^{itX}]\)

\(k\)阶原点矩: \(E[X^k] \ 或 \ A_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k,\quad k=1,2,\cdots\) \(k\)阶中心矩: \(E[(X-E(X))^k] \ 或 \ A_k=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^k,\quad k=2,3,\cdots\)

可见特征函数包含了分布函数的所有矩（moment），也就是包含了分布函数的所有特征。 所以，特征函数其实是随机变量 \(X\) 的分布的另外一种描述方式。 假设某连续随机变量 \(X\)的概率密度函数为 \(f(x)\)，那么可知：\(E(X)=\int _{-\infty }^{+\infty }xf(x)dx\)，特征函数为:

特征函数把分布函数换到另外一个坐标系，也可以获得一些计算的好处：

由定义1得到的随机向量 \(X\) 的特征函数为

其中 \(t=\left(t_{1}, \cdots, t_{p}\right)^{\prime} \in \mathbb{R}^{p}\) 证明：首先考虑一维标准正态分布的特征函数为 \(\Phi_{U_{i}}\left(t_{i}\right)=\exp \left[-\frac{1}{2} t_{i}^{2}\right]\) 根据独立性有

进而根据 X 的定义得到

其中 \(E[\exp \left\{i\left(A^{\prime} t\right)^{\prime} U\right\}]\) 即 \(\Phi_{U}(A^{\prime}t)\) ，代入即得结论.

如果随机向量 X 的特征函数具有如下形式 \(\Phi_{X}(t)=\exp \left[i t^{\prime} \mu-\frac{1}{2} t^{\prime} \Sigma t\right]\), 则称 \(X\) 服从 \(p\) 维正态分布，记作 \(X \sim N_{p}(\mu, \Sigma)\)

设 \(X \sim N_{p}(\mu, \Sigma)\)，令 \(Z=B X+d\) ，则 \(Z \sim N_{s}\left(B \mu+d, B \Sigma B^{\prime}\right)\) ，其中 \(B\) 为 \(s \times q\) 维矩阵，\(d\) 为 \(s\) 维向量.

设 \(X=\left[\begin{array}{c} X^{(1)} \\ X^{(2)} \end{array}\right] \quad \begin{array}{c} r \\ p-r \end{array} \sim N_{p}(\mu, \Sigma)\) ，将 \(\mu\), \(\Sigma\) 分为

则有 \(X^{(1)} \sim N_{r}\left(\mu^{(1)}, \Sigma_{11}\right), X^{(2)} \sim N_{p-r}\left(\mu^{(2)}, \Sigma_{22}\right)\) 注意： \(\Sigma_{12} \neq \Sigma_{21}\) ，两者互为转置

设 \(X=\left(X_{1}, X_{2}, \cdots, X_{p}\right)^{\prime}\) 为 \(p\) 维随机向量，则 \(X\) 服从 \(p\) 元正态分布等价于对任意 \(p\) 维实向量， \(\xi=a^{\prime} X\) 是一维正态随机变量. 证明： 当 X 为 p 元正态分布，由性质2知 \(\xi\) 为一维正态随机变量。 反之，如果对任意 \(a\) 有\(\xi=a^{\prime} X\) 为一维正态随机变量，则 \(\xi\) 各阶矩存在，进而 \(X\) 的均值和协方差存在，分别设为 \(\mu,\Sigma\) ，则

进而考察 X 的特征函数得到

刚好等于多元正态的特征函数，由特征函数与分布的一一对应得到结论.

如果 \(p\) 维随机向量 \(X\) 的任意线性组合均服从一元正态分布，则称 \(X\) 为 \(p\) 维正态随机向量.

如果 \(X \sim N_{p}(\mu, \Sigma)\) 且 \(\Sigma>0\) ，则 \(X\) 的联合密度函数为

如果 \(p\) 维随机向量 \(X\) 的联合密度函数为

则称 \(X\) 为 \(p\) 维正态随机向量. 注意：定义4要求 \(\Sigma>0\) ，其他三个只要求 \(\Sigma \geq0\) ，一般也不考虑 \(X\) 为退化随机向量的情况.

仅讨论 \(\Sigma \geq0\) (即半正定) 的情形

设 \(X=\left[\begin{array}{c}X^{(1)} \\ X^{(2)}\end{array}\right] \begin{array}{c}r \\ p-r\end{array} \sim N_{p}(\mu, \Sigma)(\Sigma>0)\) ，则当 \(X^{(2)}=x^{(2)}\) 给定时， \(X^{(1)}\) 的条件分布为

其中

证明：从回归的角度会比较容易理解，理论依据是，在均方意义下，线性回归的结果就是条件期望。将 X 中心化后做回归

那么 \(\beta^{\prime}\left(x^{(2)}-\mu^{(2)}\right)\) 就是 \(X^{(1)}-\mu^{(1)}\) 的条件期望。现在假设对于每个变量，都有 \(n\) 个观测数据，并将回归形式改写为 \(Z_t=\beta^{\prime}R_t+\varepsilon\) ，那么利用最小二乘估计可以得到参数的估计量为 \(\beta=\left(R^{\prime} R\right)^{-1} R^{\prime} Z\) 。考虑当 \(n\) 充分大的情况下， \(\left(R^{\prime} R\right)^{-1}\) 对应了 \(\Sigma_{22}^{-1} ， R^{\prime} Z\) 对应了 \(\Sigma_{21}\) 进而对 \(\beta\) 求转置后得到

因此条件期望就是

下面考虑条件方差的计算。做回归后得到的误差项 \(\varepsilon\) 是从 \(X^{(1)}\) 中剔除了 \(X^{(2)}\) 对其的影响，那么条件方差就应该等于误差项的方差，即

由此可以自然地得到下面的推论： \(X^{(2)} 与 X^{(1)}-\Sigma_{12} \Sigma_{22}^{-1} X^{(2)}\) 相互独立 \(X^{(1)} 与 X^{(2)}-\Sigma_{21} \Sigma_{11}^{-1} X^{(1)}\) 相互独立 \(X^{(2)} \mid X^{(1)} \sim N_{p-r}\left(\mu_{2 \cdot 1}, \Sigma_{2 \cdot 1}\right)\), 其中

问：如果是三个子向量，给定其中两个，求另一个的条件分布呢？ 答：把给定的两个看做一个子向量就可以。

就是刚刚推导的东西的定义

（1）条件期望(Conditional Expectation)，回归系数(regression coefficient)，偏相关系数(Partial correlation coefficient) 设$$X=\left[\begin{array}{c} X^{(1)} \ X^{(2)} \end{array}\right] \sim N_{p}\left(\left[\begin{array}{c} \mu^{(1)} \ \mu^{(2)} \end{array}\right],\left[\begin{array}{cc} \Sigma_{11} & \Sigma_{12} \ \Sigma_{21} & \Sigma_{22} \end{array}\right]\right)$$

根据定理2有 \(\left(X^{(1)} \mid X^{(2)}=x^{(2)}\right) \sim N_{r}\left(\mu_{1 \cdot 2}, \Sigma_{1 \cdot 2}\right)\)，我们把

称为条件期望(Conditional Expectation)，记作 \(\mathrm{E}\left(X^{(1)} \mid X^{(2)}=x^{(2)}\right)\) ；把 \(\Sigma_{12} \Sigma_{22}^{-1} \stackrel{\text {def}}{=} B\) 称为回归系数.

区分 \(\mathrm{E}(X) 、 \mathrm{E}(X \mid Y) 、 \mathrm{E}(X \mid Y=y)\)： \(\mathrm{E}(X)\)：一个数 \(\mathrm{E}(X \mid Y)\) ：随机变量，关于 Y 的函数，没有固定的 y 值 \(\mathrm{E}(X \mid Y=y)\) ： y 的函数 f(y) ，对于给定的 y ，有唯一确定值与之对应

全期望公式（Law of total expectation） 设 \(X,Y\) 为离散型随机变量，下列期望和条件期望均存在，则

若 \(Y\) 为连续型随机变量，则

若 Y 为离散型随机变量，则

离散型的证明如下：

一个特殊情况：若 \(\{A_i\}_i\) 是一个样本空间的有限集或可列集，则

为了定义偏回归系数，将条件方差矩阵的元素具体表示为

称$$\rho_{i j \cdot r+1, \cdots, p}=\frac{\sigma_{i j }}{\sqrt{\sigma_{i i }} \sqrt{\sigma_{j j }}}$$ 为偏相关系数，即为 \(X^{(2)}=\left(X_{r+1}, \cdots, X_{p}\right)^{\prime}\) 给定的条件下， \(X_{i},X_{j}\) 的相关系数.

（2）全相关系数（了解） 设 \(Z=\left[\begin{array}{l} X \\ Y \end{array}\right] \begin{array}{l} p \\ 1 \end{array} \sim N_{p+1}\left(\left[\begin{array}{c} \mu_{X} \\ \mu_{y} \end{array}\right],\left[\begin{array}{cc} \Sigma_{X X} & \Sigma_{X y} \\ \Sigma_{y X} & \sigma_{y y} \end{array}\right]\right)\)，则称

为 \(Y\) 与 \(X=\left(X_{1}, \cdots, X_{p}\right)^{\prime}\) 的全相关系数.

（3）最佳预测 记 \(X^{(1)}=Y, g\left(x^{(2)}\right)=E\left(Y \mid X^{(2)}=x^{(2)}\right)\) ，则对任意函数 \(\phi(\cdot)\) ，可以证明

也就是在均方准则下，条件期望是最优预测，证明方法就是加一项减一项，往证交叉项为0.

如果联合分布 \(p(x_a,x_b)\) 是高斯分布，那么条件概率分布 \(p(x_a|x_b)\) 也是高斯分布，那么边缘概率分布 \(p(x_a)=\int_{}^{}p(x_a,x_b)\ dx_b\) 显然也是一个高斯分布。 我们主要研究联合分布的指数项二次型，这次考虑涉及到 \(x_b\) 的项，结合条件高斯分布中对 \(z^2=z^Tz=(x-\mu_x)^T\Sigma^{-1}(x-\mu_x)\) 几何形式关于 \(x_a,x_b\) 的分解公式，可以得到：

其中 \(m=\Lambda_{bb}\mu_b-\Lambda_{ba}(x_a-\mu_a)\)，\(\Lambda\equiv\Sigma^{-1}\)， \(\Lambda\)为协方差矩阵的逆矩阵，又称为精度矩阵。 上式中与 \(x_b\) 相关的项转化为一个高斯分布的标准二次型，结合边缘概率公式需要积分：

上面只提出了关于 \(x_b\) 的二项式，其最后一项 \(\frac{1}{2}m^T\Lambda_{bb}^{-1}m\) 为和 \(x_b\) 无关但和 \(x_a\) 有关的项，结合前文提到的，除 \(x_b\) 二次项以外的并和 \(x_a\) 有关的项结合，得到：

\(b\) 为常数，是与 \(x_a\) 无关的量，那么可以得到边缘概率的协方差矩阵： \(\Sigma_{a}=(\Lambda_{aa}-\Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba})^{-1}\) 均值为： \(\mu_a=\Sigma_a(\Lambda_{aa}-\Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba})\mu_a\) 前文介绍过分块矩阵逆矩阵的恒等式，那么可以得出： \(\Sigma_{aa}=(\Lambda_{aa}-\Lambda_{ab}\Lambda_{bb}^{-1}\Lambda_{ba})^{-1}\) 最后可以得出边缘概率 \(p (x_a)\) 的均值和协方差： \(E\left[ x_a \right]=\mu_a ， cov\left[ x_a \right]=\Sigma_{aa}\) 边缘概率分布： \(p(x_a)=\mathcal N(x_a|\mu_a,\Sigma_{aa})\)

通过将更基本的概率分布(高斯分布)进行线性组合叠加，然后形式化为概率模型，被称为混合模型。高斯分布的线性组合可以给出相当复杂的概率密度形式。通过使用足够多的高斯分布，并且调节它们的均值和方差以及线性组合的系数、几乎所有的连续概率密度能够以任意的精度近似。考虑 \(K\) 个高斯概率密度的叠加，形式为： \(p(x)=\sum_{k=1}^{K}\pi_k\ \mathcal N(x|\mu_k,\Sigma_k)\) 称为混合高斯分布，每个高斯概率密度 \(\mathcal N(x|\mu_k,\Sigma_k)\) 被称为混个高斯分布的一个成分，并且有自己的均值和协方差 \(\mu_k，\Sigma_k\) 。 \(\pi_k\) 被称为混合系数，可以得到： \(\sum_{k=1}^{K}\pi_k=1\) 。 根据概率的加和规则和乘积规则，边缘概率密度为： \(p(x)=\sum_{k=1}^{K}p(k)p(x|k)\) 这和上面的混合高斯分布公式是等价的，把 \(\pi_k=p(k)\) 看成第\(k\)个成分的先验概率，把密度 \(\mathcal N(x|\mu_k,\Sigma_k)=p(x|k)\) 看成以\(k\)为条件的\(x\)的概率。 后验概率 $$p(k|x)=\frac{p(k)p(x|k)}{\Sigma_lp(l)p(x|l)}=\frac{\pi_k\mathcal N(x|\mu_k,\Sigma_k)}{\Sigma_l\pi_l\mathcal N(x|\mu_l,\Sigma_l)}$$

令 \(\pi\equiv\{\pi_1,...,\pi_K\},\mu\equiv\{\mu_1,...,\mu_K\},\Sigma\equiv\{\Sigma_1,...,\Sigma_K\}\) ，对数似然函数为：

因为该对数似然函数中对数里含有求和式，不能像一元高斯分布那样可以求得封闭的解析解，可以通过迭代数值优化方法以及期望最大化方法来求解。

高斯过程(Gaussian process, GP) 是一个概率统计学上的概念，更确切的说应该是随机过程(Stochastic process)中一个特殊例子。 在高斯过程中，连续输入空间中每个点都是与一个正态分布的随机变量相关联。此外，这些随机变量的每个有限集合都有一个多元正态分布。高斯过程的分布是所有那些（无限多个）随机变量的联合分布，正因如此，它是连续域（例如时间或空间）的分布。

【定义】 对于一个连续域 \(T\) （假设他是一个时间轴），如果我们在连续域上任选 \(n\) 个时刻： \(t_1,t_2,t_3,...,t_n\in T\) ，使得获得的一个 \(n\) 维向量 \(\{\xi_1,\xi_2,\xi_3,...,\xi_n\}\) 都满足其是一个 \(n\) 维高斯分布，那么这个 \(\{\xi_t\}\) 就是一个高斯过程。

GP可以被mean和covariance function共同唯一决定其表达式，具体的，\(\xi_t\sim GP(m(t),k(t,s))\)。因为我们知道一个高斯分布可以被mean和variance共同唯一决定，一个多元高斯分布可以对mean vector和covariance matrix共同唯一决定。mean需要描述每一个时间点 t 上的均值，但是这个时候就不能用向量了，因为是在连续域上的，维数是无限的，因此就应该定义成一个关于时刻 t 的函数： m(t) 。covariance function被称为核函数kernel，原因就是它捕捉了不同输入点之间的关系，并且反映在了之后样本的位置上。这样的话，就可以做到，利用点与点之间关系，以从输入的训练数据预测未知点的值。比如径向基函数 RBF：

这里 \(\sigma\) 和 \(l\) 是径向基函数的超参数。\(s\) 和 \(t\) 表示高斯过程连续域上的两个不同的时间点， \(||s-t||^2\) 是一个二范式，简单点说就是 \(s\) 和 \(t\) 之间的距离，径向基函数输出的是一个标量，他代表的就是 \(s\) 和 \(t\) 两个时间点各自所代表的高斯分布之间的协方差值，很明显径向基函数是一个关于 \(s\)，\(t\) 距离负相关的函数，两个点距离越大，两个分布之间的协方差值越小，即相关性越小，反之越靠近的两个时间点对应的分布其协方差值就越大。

我们知道，高斯分布有一个很好的特性，那就是高斯分布的联合概率、边缘概率、条件概率仍然是满足高斯分布的，假设： \(n\) 维的随机变量满足高斯分布： \(x\sim N(\mu,\Sigma_{n\times n})\) 那么如果我们把这个 \(n\)维的随机变量分成两部分： \(p\) 维的 \(x_a\) 和 \(q\) 维的 \(x_b\) ，满足 \(n=q+p\) ，那么按照均值向量 \(\mu\) 和协方差矩阵 \(\Sigma\) 的分块规则，就可以写成：

那么依据高斯分布的性质，我们知道下列条件分布依然是一个高维的高斯分布：

也就是说，设置了高斯过程的先验参数，一旦我们拿到一些观测值，那么就可以对高斯过程的均值函数和核函数进行修正，得到一个修正后的后验高斯过程，而更新后验参数的信息就来自于观测值。

将高斯过程对比高维高斯分布，我们把均值向量替换成均值函数，把协方差矩阵替换成核函数，就能够得到高斯过程基于观测值的后验过程的参数表达式： 我们的一组观测值，他们的时刻对应一个向量 \(X\) ，那么对应的值时另一个同纬度的向量的 \(Y\) ，假设有4组观测值，那就是 \(\{(X[1],Y[1]),((X[2],Y[2])),((X[3],Y[3])),((X[4],Y[4]))\}\) 那么余下的所有非观测点，在连续域上我们定义为 \(X^*\) ，值定义为 \(f(X^*)\)

首先，联合分布显然是满足无限维高斯分布的：

从这个联合分布所派生出来的条件概率 \(f(X^*)|Y\) 同样也服从高斯分布，当然这里指的是无限维高斯分布，其实对比一下，把 \(Y\) 看作是 \(x_a\) ，把 \(f(X^*)\) 看作是 \(x_b\) ，直接类比条件分布的参数表达式：\(f(X^*)|Y\sim N(\mu^*,k^*)\) 这里面的 \(\mu^*\) 和 \(k^*\) 就是条件分布下的后验高斯过程的均值函数和核函数的形式。

类比我们就可以写成表达式：

以下例子中，高斯过程先验我们设置均值函数为 \(\mu(X)=0\) ，径向基函数 \(k(X,X^*)=\sigma^2exp(-\frac{||X-X^*||^2}{2l^2})\)。\(X=[1,3,7,9]\) 的位置上设置一组观测值， \(Y\) 为\(X\)取正弦的基础上加上一点高斯噪声。我们在四个观测点的基础上，来求高斯过程的后验。

优点

缺点

多元高斯分布完全解析 -知乎 高斯分布相乘、积分整理 多维高斯分布 -博客园 多维正态分布的最大似然估计 -博客园 高斯性质：多元统计分析第01讲--多元正态分布及参数估计(随机向量，多元正态分布定义，条件分布和独立性）-知乎 高斯条件分布：多元统计分析第02讲（条件分布，随机阵的正态分布，参数估计） 高斯边缘分布：深入理解高斯分布

Sum of normally distributed random variables 第三章·随机向量 ----概率论与数理统计 条件期望与全期望公式

汇总型： prml -gitbook Gaussian Processes for Machine Learning.pdf