-
马尔可夫链 描述了一个状态序列,其中每个状态值取决于前一个状态。 为随机变量,称为时刻 的状态,其取值范围称作状态空间。
马尔可夫链的数学定义为: 。
社会学家把人按照经济状况分成三类:下层、中层、上层。用状态 代表着三个阶层。社会学家发现:决定一个人的收入阶层的最重要因素就是其父母的收入阶层。
- 如果一个人的收入属于下层,则他的孩子属于下层的概率是 0.65,属于中层的概率是 0.28,属于上层的概率是 0.07 。
- 如果一个人的收入属于中层,则他的孩子属于下层的概率是 0.15,属于中层的概率是 0.67,属于上层的概率是 0.18 。
- 如果一个人的收入属于上层,则他的孩子属于下层的概率是 0.12,属于中层的概率是 0.36,属于上层的概率是 0.52 。
从父代到子代,收入阶层的变化的转移概率如下:
假设初始概率分布为 ,给出前 14 代人的分布状况:
可以看到从第 9 代开始,阶层分布就趋向于稳定不变。
如果换一个初始概率分布为 ,给出前 14 代人的分布状况:
可以发现到第 8 代又收敛了。
两次不同的初始概率分布,最终都收敛到概率分布 。 这说明收敛的行为和初始概率分布 无关,而是由概率转移矩阵 决定的。
可以看到 :
发现当 足够大的时候, 矩阵 收敛且每一行都稳定收敛到 。
2.2 平稳分布
注意,在马尔可夫链定理中:
马尔可夫链的状态不要求有限,可以是无穷多个。
两个状态的连通指的是:状态 可以通过有限的 步转移到达 (并不要求从状态 可以直接一步转移到状态 )。
马尔可夫链的任何两个状态是联通的含义是:存在一个 ,使得矩阵 中的任何一个元素的数值都大于零。
定理:如果非周期马尔可夫链的转移矩阵 和某个分布 满足: ,则 是马尔可夫链的平稳分布。
这被称作马尔可夫链的细致平稳条件
detailed balance condition
,其证明如下: