多元高斯分布的协方差矩阵与信息矩阵 | 您所在的位置:网站首页 › 自协方差函数和方差的关系 › 多元高斯分布的协方差矩阵与信息矩阵 |
零均值的多元高斯分布有如下概率形式: 其中 其中 其实在应用中,往往我们直接操作的是信息矩阵,而不是协方差矩阵。下面从一个例子来体会一下协方差矩阵与信息矩阵。 example假设 其中, 然后同理,可以求出另外两个对角元素为 依次类似,可以得到完整的协方差矩阵为: 信息矩阵是协方差矩阵的逆矩阵,此处我们可以通过计算联合高斯分布来得到协方差矩阵的逆: 利用指数性质,可以计算出联合概率分布如下: 所以,这里上面矩阵就是协方差矩阵的逆,也就是信息矩阵: 由上,可以看到当在协方差矩阵中, 协方差矩阵直接只计算前两个相关的协方差矩阵即可,也就是去掉划线的部分 变为: 至于信息矩阵,只需要把信息矩阵公式中
得到: 之所以要移除一个变量,然后再算它的信息矩阵,是因为在实际应用中经常会用到这样的操作,上面只讲了原理,下面会抽时间讲讲如何快速实现,会需要舒尔补(Schur’s complement)与边缘化(marginalization)。 补充此处需要注意,协方差矩阵与信息矩阵都可以用来表示多元变量之间的相关性。但是,协方差矩阵是衡量的变量之间边界概率关系,通常是直接相关性,信息矩阵会有间接相关性,衡量的是变量之间的条件概率关系。因此,在计算中我们会发现有些协方差矩阵中相关的两个量在信息矩阵中不相关,有些协方差矩阵中不相关的两个量在信息矩阵中相关。 比如在下面这个例子中 协方差矩阵为: 信息矩阵为:
|
CopyRight 2018-2019 实验室设备网 版权所有 |