马尔科夫链 Markov Chains

Good resource, Markov Chains Explained Visually,  http://setosa.io/ev/markov-chains/

============================

马尔可夫链(Markov chain),又称离散时间马尔可夫链(discrete-time Markov chain),因俄国数学家安德烈·马尔可夫(俄语:Андрей Андреевич Марков)得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步,系统根据概率分布,可以从一个状态变到另一个状态,也可以保持当前状态。状态的改变叫做转移,与不同的状态改变相关的概率叫做转移概率。

============================

马尔可夫性质非正式表示

对于一个随机过程,如果我们知道在给定时间过程所取的值,我们就不会通过收集更多关于过去的知识来获得关于过程未来行为的任何额外信息。用更为数学的术语表述,在任何给定的时间内,给定当前和过去状态的过程的未来状态的条件分布仅取决于当前状态,而完全不取决于过去状态(无记忆属性)。具有马尔可夫性质的随机过程称为马尔可夫过程。

马尔可夫性质表示这样一个事实,即在给定的时间步和已知当前状态的情况下,通过收集有关过去的信息,我们不会得到任何关于未来的额外信息。基于前面的定义,我们现在可以定义“同构离散时间马尔可夫链”(为了简单起见,下面将称为“马尔可夫链”)。马尔可夫链是一个具有离散时间和离散状态空间的马尔可夫过程。因此,马尔可夫链是一个离散的状态序列,每个状态序列都是从一个离散的状态空间(有限或无限)中提取出来的,并且遵循马尔可夫性质。

在数学上,我们可以用下列式子表示马尔可夫链:

其中,在每一时刻,过程的值都是取自离散集E中的,如下所示:

那么,马尔可夫性质意味着有如下结论:

最后一个公式表达了这样一个事实:对于给定的历史(我现在在哪里,我以前在哪里),下一个状态(我将去向何方)的概率分布仅取决于当前状态,而不取决于过去的状态。

============================

马尔科夫链平稳状态

举个具体的例子。社会学家把人按其经济状况分为3类:下层,中层,上层,我们用1,2,3表示这三个阶层。社会学家发现决定一个人的收入阶层最重要的因素就是其父母的收入阶层。如果一个人的收入属于下层类别,则它的孩子属于下层收入的概率为0.65,属于中层收入的概率为0.28,属于上层收入的概率为0.07。从父代到子代,收入阶层转移概率如下

我们用P表示这个转移矩阵,则

假设第1代人的阶层比例为

,则前10代人的阶层分布如下

我们可以看到,在相同的转移矩阵作用下,状态变化最终会趋于平稳。对于第n代人的阶层分布,我们有

从表达式上我们可以看到,π是一维向量,P是两维矩阵,P进行足够多次自乘后,值趋于稳定。

马尔科夫链平稳状态定理

在转移矩阵P作用下达到的平稳状态,我们称之为马氏链平稳分布。对于这个特性,有如下精彩定理

我在这里直观的解释一下上面定理

条件

(1)非周期马氏链:马氏链转移要收敛,就一定不能是周期性的。不做特别处理,我们处理的问题基本上都是非周期性的,在此不做多余解释。

(2)存在概率转移矩阵P,任意两个状态是连通的:这里的连通可以不是直接相连,只要能够通过有限次转移到达即可。比如对于a, b, c状态,存在a->b, b->c,则我们认为a到c是可达的。

结论

(1)不论初始状态是什么,经过足够多次概率转移后,会存在一个稳定的状态π。

(2)概率转移矩阵自乘足够多次后,每行值相等。即

马尔科夫链平稳状态定理的物理解释

我们再用一个更加简单的例子来阐明这个定理的物理含义。假设城市化进程中,农村人转移为城市人的概率为0.5,城市人转移为农村人的概率为0.1。


 


农村人


城市人


农村人


0.5


0.5


城市人


0.1


0.9

假设一开始有100个农村人,0个城市人,每代转移人数如下


代数


农村人


城市人


农村人转移为城市人


城市人转移为农村人


1


100


0


50


0


2


50


50


25


5


3


30


70


15


7


4


22


78


11


8


5


19


81


10


8


6


17


83


8


8


7


17


83


8


8

可以看到,城市化进程中马尔科夫平稳状态就是农村人转移为城市人的速度等于城市人转移为农村人的速度。对于上述转移矩阵P,平稳分布为农村人17%,城市人83%。如果我们可以得到当前中国城市化转移矩阵P,我们就可以算出中国最终城市化率大概为多少(这里不考虑P的变化)。同时如果我们知道了中国城市化人口比例,我们就能知道城市化进程还可以持续多少代人。

============================

============================

原文链接:

https://blog.csdn.net/bitcarmanlee/article/details/82819860

https://www.cnblogs.com/coshaho/p/9740937.html

REF

(Good)https://wenku.baidu.com/view/e87b12b25b8102d276a20029bd64783e09127dce.html

原文地址:https://www.cnblogs.com/emanlee/p/12362998.html

时间: 2024-10-08 00:49:38

马尔科夫链 Markov Chains的相关文章

马尔科夫链和隐马尔可夫模型(转载)

马尔可夫模型是由Andrei A. Markov于1913年提出的 ?? 设 SS是一个由有限个状态组成的集合 S={1,2,3,-,n?1,n}S={1,2,3,-,n?1,n} 随机序列 XX 在 tt时刻所处的状态为 qtqt,其中 qt∈Sqt∈S,若有: P(qt=j|qt?1=i,qt?2=k,?)=P(qt=j|qt?1=i)P(qt=j|qt?1=i,qt?2=k,?)=P(qt=j|qt?1=i) aij≥0∑jnaij=1aij≥0∑jnaij=1 则随机序列 XX构成一个一

Chapter 4 马尔科夫链

4.1 引言 现在要研究的是这样一种过程: 表示在时刻的值(或者状态),想对一串连续时刻的值,比如:,, ... 建立一个概率模型. 最简单的模型就是:假设都是独立的随机变量,但是通常这种假设都是没什么根据的,也缺乏研究的意义. 举例来说的话,如果用来代替某个公司,比如Google,在个交易日之后的股票价格. 那么说第天的股票价格和之前第天,第天,第乃至第天的股票价格一点关系都没有,这样是说不过去的. 但是说第天股票的收盘价格依赖于第天的收盘价格还是有点道理的. 同样还可以做出这样的合理假设:在

马尔科夫链蒙特卡洛采样(MCMC)入门

1.从随机变量分布中采样 研究人员提出的概率模型对于分析方法来说往往过于复杂.越来越多的研究人员依赖数学计算的方法处理复杂的概率模型,研究者通过使用计算的方法,摆脱一些分析技术所需要的不切实际的假设.(如,正态和独立) 大多数近似方法的关键是在于从分布中采样的能力,我们需要通过采样来预测特定的模型在某些情况下的行为,并为潜在的变量(参数)找到合适的值以及将模型应用到实验数据中,大多数采样方法都是将复杂的分布中抽样的问题转化到简单子问题的采样分布中. 本章,我们解释两种采样方法:逆变换方法(the

MCMC(二)马尔科夫链

MCMC(一)蒙特卡罗方法 MCMC(二)马尔科夫链 MCMC(三)M-H采样和Gibbs采样(待填坑) 在MCMC(一)蒙特卡罗方法中,我们讲到了如何用蒙特卡罗方法来随机模拟求解一些复杂的连续积分或者离散求和的方法,但是这个方法需要得到对应的概率分布的样本集,而想得到这样的样本集很困难.因此我们需要本篇讲到的马尔科夫链来帮忙. 1. 马尔科夫链概述 马尔科夫链定义本身比较简单,它假设某一时刻状态转移的概率只依赖于它的前一个状态.举个形象的比喻,假如每天的天气是一个状态的话,那个今天是不是晴天只

马尔科夫链与蒙特卡洛方法采样算法

马尔科夫链 http://wenku.baidu.com/link?url=26MSlOhtBMPQJz3ta2p3bM6IMdLsvvHQ2mzw8AI2GcSdZAI7Ukdf1rl4KR6VUojnuutXwU5EqHNv-V0acHQn1PlkoyYT0j7DrVRWskg_Kr7&pn=50 蒙特卡洛采样算法 http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/ http://imbinwang.github.io/blog

利用隐马尔科夫链(HMM)模型实现中文分词

1.什么是HMM? 隐马尔科夫链(HMM)是一个五元组: 隐状态集合 ; 观测状态集合: 状态概率转移矩阵: 观察状态概率矩阵: 初始状态概率分布: 2.HMM有两个假设: 齐次马尔可夫链假设:任意时刻的隐藏状态只依赖与前一时刻的隐藏状态. 观测独立性假设:任意时刻的观察状态,只依赖与当前时刻的隐藏状态. 3.HMM可以解决3类基本问题: 评估观察序列的概率. 学习模型参数.即给定观察序列,估计模型的参数,是观察序列出现的概率最大. 预测问题.即给定观察序列和模型,求最有可能出现的对应状态序列.

13张动图助你彻底看懂马尔科夫链、PCA和条件概率!

https://mp.weixin.qq.com/s/ll2EX_Vyl6HA4qX07NyJbA [ 导读 ] 马尔科夫链.主成分分析以及条件概率等概念,是计算机学生必学的知识点,然而理论的抽象性往往让学生很难深入地去体会和理解.而本文,将这些抽象的理论概念,用可视化的方式来解释,还可调节相应参数来改变结果,使这些抽象概念变得生动而立体! 计算机相关概念太难.太抽象?别怕,往下看! 人类对视觉信息的记忆要远远大于文字信息.使用图表等形式的可视化,可以让抽象.难懂的概念一目了然:在此基础之上,添

马尔科夫链及其平稳状态

马尔科夫链的定义如下 从定义中我们不难看出马氏链当前状态只与前一个状态相关.比如我们预测明天天气,只考虑今天天气状况,不考虑昨天前天的天气状况. 举个具体的例子.社会学家把人按其经济状况分为3类:下层,中层,上层,我们用1,2,3表示这三个阶层.社会学家发现决定一个人的收入阶层最重要的因素就是其父母的收入阶层.如果一个人的收入属于下层类别,则它的孩子属于下层收入的概率为0.65,属于中层收入的概率为0.28,属于上层收入的概率为0.07.从父代到子代,收入阶层转移概率如下 我们用P表示这个转移矩

【HDOJ6229】Wandering Robots(马尔科夫链,set)

题意:给定一个n*n的地图,上面有k个障碍点不能走,有一个机器人从(0,0)出发,每次等概率的不动或者往上下左右没有障碍的地方走动,问走无限步后停在图的右下部的概率 n<=1e4,k<=1e3 思路:据说是找规律     From https://blog.csdn.net/anna__1997/article/details/78494788 牛逼的证明 马尔科夫链的随机游走模型 可建立状态转移矩阵,对n * n 的图中n * n 个点编号为0 ~[ (n - 1) * n + n – 1]