概率论

马尔科夫链是一个随机过程，包含一些状态和转移概率，对于每一个状态，我们都知道由这个状态向其他状态转移的概率是多少。

例如，我们考虑处在一个 n n n层楼的一楼，每次我们都有同等概率的上楼或下楼，除非处在一楼或者顶楼。那么 k k k步之后处于 m m m层的概率是多少？

如果 n = 5 n=5 n=5，每一层楼都是一个状态的话，对应的马尔科夫链为：

我们定义向量 V k = [ p 1 , p 2 , … , p n ] V_k=[p_1,p_2,\ldots,p_n] Vk​=[p1​,p2​,…,pn​]，为经过 k k k步之后，处在 i i i层 p i p_i pi​的概率向量。

每一个马尔科夫链都对应一个递推矩阵 T T T，使得 V k = T V k − 1 V_k = T V_{k-1} Vk​=TVk−1​。

例如上述马尔科夫链就可以转换为：

P3758