马尔科夫链模型及其在基因遗传分析中的应用研究
内容提要 文中简述了马尔科夫链模型的基本原理，介绍了利用马尔科夫链对农作物基因遗传过程进行的分析研究，从而得出了基因类型的分布情况和农作物种植最适宜的换种代数间隔，使得可以更好的种植农作物。
关键词 马尔可夫链模型 基因遗传 换种间隔
一、引言
对基因遗传的分析一直是人们较为关心的话题。在研究出某物种基因的遗传分布后，对人们今后的对该物种进行的各种改良提供了良好的依据，尤其是对农作物基因类型的研究。在研究出农作物的各代之间基因类型的关系和分布情况之后，我们可以据此改善农作物的种植方法，从而提高产量。本文依据马尔科夫链的两种重要类型对农作物的基因遗传进行了分析研究，同时，分析研究马尔科夫链在一对父母的大量后代中，雌雄随机的配对繁殖，一系列后代的基因类型的演变过程中的应用。
二、马尔科夫链
1.马尔可夫链的基本概念
定义 ①.设{(),0,1,2,}n X X w n ==???是定义在概率空间(,,)F P Ω上，取值在非负整数上的随机变量序列，其表示对每个n 系统的状态。当状态1,2,,(1,2,)n X k n =???=???时表示共有k 个状态；n 时刻由状态n X i =，下一个时刻n+1变到状态1n X j +=的概率记作ij p ，则1(|)i j n n p P X j X i +===表示在事件n X i =出现的条件下，事件1n X j +=出现的条件概率，又称它为系统状态X 的一步转移概率。如果对任意的非负整数121,,,,,n i i i i j -???及一切0n ≥有
1(|,,1,2,,1)n n k k P X j X i X i k n +====???-=1(|)()n n ij ij P X j X i p n p +====，
则称X 是马尔科夫链。
②.矩阵（ij p ）称为马尔科夫链X 的一步转移概率矩阵。称10()(|)(|)ij n n m m p n P X j X i P X j X i ++======为马尔科夫链X 的n 步转移概率，而（()ij p n ）为X 的n 步转移矩阵。
③. 系统状态n X i =的概率记作称()i a n 称为状态概率，1()1k
i i a n ==∑;对状态
概率计算的基本方程为1(1)(),1,2,,k
i i ij i a n a n p i k =+==???∑，从而可得状态概率向量
12(){(),(),,()}i k a n a n a n a n =???。
2.马尔科夫链的两个重要类型
①.正则链 一个有k 个状态的马尔科夫链，如果存在整数N 从任一状态出发经N 次状态转移能以正概率到达另外任意状态。正则链存在位移的极限状态w ，()()a n w n →→∞，w 称作稳态概率，w 满足wP w =，且11k
i i w ==∑。
②．吸收链 存在吸收态（一旦到达就不会离开的状态i ，1ii p =），且从任一非吸收态出发经有限次转移能以正概率到达吸收状态。有r 个吸收状态的吸收
链的转移概率矩阵标准形式0r r I P R
Q ???=????
，其中R 有非零元素。 计算10
()s s M I Q Q ∞-==-=∑，12(,,,)k r y y y y Me -=???=，其中e 为单位矩阵，1y 表
示从第i 个非吸收态出发，被某个吸收态吸收前的平均转移次数。
三、马尔科夫链的应用
马尔可夫过程的一个最大特点就是其所具有的无后效性, 即系统在将来的状态只和现在有关, 而与以前的状态无关, 其基本的思想就是通过对系统当前数据信息的分析, 得到系统在当前状态的初始分布, 同时通过对系统在下一状态的数据信息的分析得出系统在两个状态之间发生各种转移的概率大小, 并具体求出基于初始状态的转移概率。
在对农作物基因遗传的分析研究中，首先需要明确：生物的外部特征由内部相应的基因决定，基因分为优势基因R 和劣势基因r 两种。每种外部特征由这两个基因决定，每个基因都可以是R 、 r 中的任一个，从而形成了3种基因类型：RR （优种D ），Rr （混种H ），rr （劣种F ）。当基因类型为优种和混种时，外部表征呈优势；基因类型为劣种时，外部表征成劣势。同时，生物繁殖时后代随即且等概率的继承父、母的各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率。
1.模型假设：
①设群体中雄性、雌性的比例相等，基因类型的分布相同（记作D:H:F ）
②.每个雄性个体以D:R:F 的概率与一雌性个体交配，其后代随机地继承它们的各一个基因。
③.设初始一代基因类型比例D:H:F=a:2b:c(a+2b+c=1),记p=a+b,q=b+c ，则群体中优势基因和劣势基因的比例R:r=p:q(p+q=1)。
2.符号说明
①.状态1,2,3,n X =???表示第n 代得一个个体属于D 、H 、F 。
②.状态概率()i a n 表示第n 代得一个个体属于状态i （i=1,2,3）的概率。 ③.ij p 表示在确定雄性个体基因为i 的情况下，让其与所有雌性个体随机交配
繁殖，所得后代的基因类型为j 的条件概率，即
1((|(ij n n p P X j X i +===后代基因类型）父基因类型））
。从而我们可以计算出： 111(1(RR |1(RR =p n n p P X X +===后代为）父基因为））
121(2(Rr |1(RR =q n n p P X X +===后代为）父基因为））
131(3(|1(RR =0n n p P X X +===后代为rr ）父基因为））
321(2(|3(r =p n n p P X X +===后代为Rr ）父基因为r ））
221(2(|2(Rr =p/2+q/2=1/2n n p P X X +===后代为Rr ）父基因为）)
311(1(|3(r =0n n p P X X +===后代为RR ）父基因为r ））
321(2(|3(r =p n n p P X X +===后代为Rr ）父基因为r ））
331(3(|3(r =q n n p P X X +===后代为rr ）父基因为r ））
则其状态转移概率矩阵为0/21/2/20p q P p q p q ????=??????
，因(1)(),0,1,2,a n a n P n +==??? 故而可求得(0)(,2,)a a b c =，22(1)(0)(,2,)a a P p pq q ==，22(2)(1)(,2,)a a P p pq q ==，22(3)(2)(,2,)a a P p pq q ==，…
由此可以看出该模型属于正则链，其稳态分布22(,2,)w wP p pq q ==，自然界中优势基因和劣势基因所占的比例通常是相等的，即都为1/2，从而D:H:F=1/4:1/2:1/4,得（D+H ）：F=3:1。这很好的验证了孟德尔利用数学统计对
豌豆基因遗传分析，并提出基因分离定律和自由组合定律所得出的结论，即无论父母的基因类型情况为何，其后代所表现出的特性中显性基因所决定的特性与隐性基因决定的特性所占的比例始终接近3:1。我们由此可以主观的得出结论马尔科夫链在动态分析检测中具有良好的应用，而且其方法较为简洁方便理解。
在农作物的种植的过程中，农民通常会在今年所收获的作物中选出饱满的适宜种植的作为下一年种子，就这样年复一年对同一种农作物进行种植，但对其最终的收获多少只归结为天气问题、肥料的使用等一系列的问题。由于缺乏对专业知识的理解，从来都没有考虑过基因的问题。在此我们根据马尔科夫模型对一种农作物的基因遗传进行了分析和研究，最终，利用马尔科夫链的一个重要类型即吸收链得出最优的换种代数间隔，给农民最好的种植农作物提供了良好的依据。因此，我们分析研究了马尔科夫链在一对父母的大量后代中，雌雄随机的配对繁殖，一系列后代的基因类型的演变过程中的应用。
根据基因的分离和自由组合定律，我们对各种父母基因类型进行组合，得出了后代各种基因类型的概率(如表1)
表1 父母基因类型决定后代各种基因类型的概率
用状态1,2,3,4,5,6
n
X=表示配对基因组合为DD,FF,DH,DF,HH,HF.利用表1计算父母基因组合确定的情况下，子代的各种基因组合的概率，得其状态转移概率矩
阵为：
100000
010000
1/401/201/40
000010
1/161/161/41/81/41/4
01/4001/41/2
P
??
??
??
??
=??
??
??
??
??
，由此状态转移矩阵可以看出状
态1和状态2为吸收态，即无论初始如何，经过若干代的近亲繁殖以后，基因类型将全变为优种或劣种。
把矩阵P分块，令
10
01
I
??
=??
??
，
1/201/40
0010
1/41/81/41/4
001/41/2
Q
??
??
??
=
??
??
??
从而可得：18/31/64/32/34/34/38/34/3()4/31/38/34/32/3
1/64/38/3M I Q -??????=-=?????? 29201729(,,,)6336
T y Me ==，因i y 表示从第i 个非吸收态出发，被某个吸收态吸收前的平均转移次数。在此具体是：从各种不稳定的基因类型进行自由交配，最终到达稳定基因类型时所需要的时间。由此结果我们可以得出结论：优种和劣种的某些品质不如混种，而近亲繁殖后大约5-6代就需要重新选种。
四、结论
马尔可夫链应用的基础是无后效性和平稳性。在预测时是假定系统的转移趋势是遵循已经确定的概率矩阵，因此转移概率的确定和转移趋势对预测结果的准确与否和准确程度有十分重要的影响。最关键的是系统的转移趋势确实是比较平稳的，即要求影响系统状态转移趋势的外界条件不发生大的变化，如果系统的外界因素发生了较大的改变，说明转移概率也会发生变化，就得按照市场的变化重新计算转移概率。
另外，系统状态的划分要能很好地体现系统的实际情况。对于有些复杂的系统， 划分状态时还要根据各个状态所包含的实际内容和意义来进行，然后就是依据划分好的状态界限来确定系统的初始状态分布。
从上面的分析中，我们可以看出马尔科夫链具有良好的应用效果。马尔科夫模型可以应用于很多领域，而且分析过程较为简洁明了，最终结果具有一定的对现实情况的说明性。只要在当前状态的发生和下一状态的发生之间有相对确定的概率关系时，我们就可以利用状态转移概率矩阵计算下一状态的各个情况发生的概率，并由此进行分析研究得出结论。
参考文献
[1] 盛骤，谢式千，潘承毅.概率论与数理统计[M].北京：高等教育出版社，2011.
[2] 袁荫棠.概率论与数理统计[M].北京：中国人民大学出版社，2011.
[3] 查秀芳.马尔可夫链在市场预测中的作用[J].江苏大学学报(社会科学版)，
2003,5(1).
[4] 李民，段爱明.马尔科夫模型的市场预测方法及其应用[J].中南大学商学院
数学理论与应用.2005,9(3).
[5] 张新时.遗传与进化[M].北京：中国地图出版社，2005.
我们仔细阅读了中国大学生数学建模竞赛的竞赛规则. 我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。 我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处理。 我们参赛选择的题号是（从A/B/C/D中选择一项填写）： B 我们的参赛报名号为（如果赛区设置报名号的话）： 所属学校（请填写完整的全名）：贵州民族学院 参赛队员(打印并签名) ：1. 龚道杰 2. 张凤 3. 姚肖伟 指导教师或指导教师组负责人(打印并签名)： 日期： 2009 年 7 月 25 日 年凝冻日数的Markov链预测法 4# 【摘要】 本文根据所给数据，利用Markov链建立了预测年凝冻日数的模型，分别从整体和局部两个角度进行分析。
首先，我们直接以年凝冻日数为依据，对其进行K-均值聚类分析，划分 状态。用频率估计概率的方法，估算出一步转移概率矩阵，1/6 5/65/3328/33P ??=?? ??，然后建立Markov 链模型()1/6 5/6()(0)(0)5/3328/33n n P n P P P ??=?=??? ?? 。以2008年作为初始状态，估计出 2009 年凝冻日数所处状态为 (1)(0)P P P =?()0.1520.848=。按K-均值标准可知，即2009年凝冻的天数在 15天以内的可能性为84.8%，在15天以上的可能性为15.2%。 由于上述模型选取的是以年为单位的数据，只能估计出2009年的凝冻日 数所处区间。为提高精度，我们选取2000-2008年的具体凝冻天数和日期，记每一天只存在两种状态，出现雨凇为状态1，否则为状态0。然后由相邻两年间的状态转移变化，得出一步转移概率矩阵i P ，1,2,...,8i =。由这8个一步转移概率矩阵，根据一步转移矩阵P 的n 次方与n 步转移概率矩阵()n P 之差的范数和达到最小的准则，选出优化后的一步转移概率矩阵 0.95000.0500*0.78890.2111P ??=???? ,再次建立Markov 链模型。以2008年为初始状态，预测2009年的概率分布为 []*(2009)(2008)0.91060.0894P P P =?= ，由频率稳定于概率，知2009年凝冻天数的估计值为14天。 关键词： Markov 链 转移概率矩阵 频率估计概率 1. 问题提出 1.1背景知识 凝冻是指冬季出现的温度低于0℃有过冷却降水或固体降水和结冰现象发生的天气现象，即气象台所说的出现雨凇的天气。雨凇的形成与气温，降水量，湿度等因素有关，超冷却的降水碰到温度等于或低于零摄氏度的物体表面使所形成玻璃状的透明或无光泽的表面粗糙并覆盖层，就叫做雨凇。其造成的危害巨大，高压线塔的倒塌，电力瘫痪，交通瘫痪，农作物的冻亡等。因而对出现雨凇天气的预测显得尤为重要。
33. 马尔可夫预测 马尔可夫预测，是一种预测事件发生的概率的方法。它是基于马尔可夫链，根据事件的目前状况预测其将来各个时刻（或时期）变动状况的一种预测方法。 马尔可夫预测法的基本要求是状态转移概率矩阵必须具有一定的稳定性。因此，必须具有足够的统计数据，才能保证预测的精度与准确性。换句话说，马尔可夫预测模型必须建立在大量的统计数据的基础之上。 （一）经典马尔可夫模型 一、几个概念 状态：指某一事件在某个时刻（或时期）出现的某种结果； 状态转移：事件的发展，从一种状态转变为另一种状态； 马尔可夫过程：在事件的发展过程中，若每次状态的转移都仅与前一时刻的状态有关，而与过去的状态无关，或者说状态转移是无后效性的，则这样的状态转移过程就称为马尔可夫过程。 状态转移概率：在事件的发展变化过程中，从某一种状态出发，下一时刻转移到其它状态的可能性，称为状态转移概率。由状态i E 转为状态j E 的状态转移概率 ()(|)i j j i ij P E E P E E p →== 状态转移概率矩阵：假定某一个事件的发展过程有n 个可能的状
态，即1,,n E E ，则矩阵 1111n n nn p p P p p ????=?????? 其中，ij p 为从状态i E 转为状态j E 的状态转移概率，称为状态转移概率矩阵。 状态转移矩阵满足： (i) 01, ,1,,ij p i j n ≤≤= (ii) 1 1n ij j p ==∑ 二、状态转移矩阵的计算 即求出从每个状态转移到其它任何一个状态的状态转移概率ij p ，一般采用频率近似概率的思想进行计算。 例1某地区农业收成变化的三个状态，即E1“丰收”、E2“平收”和E3“欠收”。下表给出了该地区1960~1999年期间农业收成的状态变化情况（部分）。 计算该地区农业收成变化的状态转移概率矩阵。 datas=xlsread('Agriculture.xlsx');
隐马尔科夫链及其应用学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。考虑一个系统，在每个时刻都可能处于N 个状态中的一个，N 个状态集合是 {S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn 来表示系统在t=1,2,3,…n 时刻下的状态。在t=1时，系统所在的状态q 取决于一个初始概率分布PI ，PI(SN)表示t=1时系统状态为SN 的概率。马尔科夫模型有两个假设： 1. 系统在时刻t 的状态只与时刻t-1处的状态相关；（也称为无后效性） 2. 状态转移概率与时间无关；（也称为齐次性或时齐性）第一条具体可以用如下公式表示： P(q t =S j |q t-1=S i ,q t-2=S k ,…)= P(q t =S j |q t-1=S i )其中，t 为大于1的任意数值，Sk 为任意状态第二个假设则可以用如下公式表示：P(q t =S j |q t-1=S i )= P(q k =S j |q k-1=S i )其中，k 为任意时刻。下图是一个马尔科夫过程的样例图：卷问题，而且可保障各类管路习题到位。在管对全部高中资料试卷电气设备，在安装过程下高中资料试卷调控试验；对设备进行调整使卷总体配置时，需要在最大限度内来确保机组
可以把状态转移概率用矩阵A 表示，矩阵的行列长度均为状态数目，aij 表示P(Si|Si-1)。 隐马尔科夫过程 与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示：此图是从别处找来的，可能符号与我之前描述马尔科夫时不同，相信大家也能理解。通过管线敷设技术不仅可以解决吊顶层配置不规范高中资料试卷问题，而且可保障各类管路习题到位。在管路敷设过程中，要加强看护关于管路高中资须同时切断习题电源，线缆敷设完毕，要进行检查和检测处理。对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料试卷相互作用与相互关系，根据生产工艺高中资料试卷要求，对电气设备进行空载与带负荷下高中资料试卷调控试验；对设备进行调整使其在正常工况下与过度工作下都可以正常工制造厂家出具高中资料试卷试验报告与相关技术资料，并且了解现场设备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。电力保护装置调试技术，电力保护高中资料试卷配置技术是指机组在进行继电保护高中资料试卷总体配置时，需要在最大限度内来确保机组高中资料试卷安全，并且尽可能地缩小故进行外部电源高中资料试卷切除从而采用高中资料试卷主要保护装置。
市场占有率问题 摘要 本文通过对马尔科夫过程理论中用于分析随机过程方法的研究，提出了将转移概率矩阵法应用于企业产品的市场占有率分析当中，并给出了均匀状态下的市场占有率模型。单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时，需要预测各种商品之间不断转移的市场占有率。 通过转移概率求得八月份的各型号商品的市场占有率为……稳定状态后，通过马尔科夫转移矩阵，计算出各商品的市场占有率为…… 关键词马尔科夫链转移概率矩阵
一、问题重述 1.1背景分析 现代市场信息复杂多变，一个企业在激烈的市场竞争环境下要生存和发展就必须对其产品进行市场预测，从而减少企业参与市场竞争的盲目性，提高科学性。然而，市场对某些产品的需求受多种因素的影响，普遍具有随机性。为此，利用随机过程理论的马尔科夫模型来分析产品在市场上的状态分布，进行市场预测，从而科学地组织生产，减少盲目性，以提高企业的市场竞争力和其产品的市场占有率。 1.2问题重述 已知六月份甲，乙，丙，三种型号的某商品在某地有相同的销售额。七月份甲保持原有顾客的60%，分别获得乙，丙的顾客的10%和30%；乙保持原有顾客的70%，分别获得甲，丙的顾客的10%和20%；丙保持原有顾客的50%，分别获得甲，乙顾客的30%和20%。求八月份各型号商品的市场占有率及稳定状态时的占有率。 二、问题分析 单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。题目给出七月份甲、乙、丙三种型号的某商品的顾客转移率，转移率的变化以当前的状态为基准而不需要知道顾客转移率的过去状态，即只要掌握企业产品目前在市场上的占有份额，就可以预测将来该企业产品的市场占有率。概括起来，若把需要掌握过去和现在资料进行预测的方法称为马尔科夫过程。 马尔科夫预测法的一般步骤： （1）、调查目前本企业场频市场占有率状况，得到市场占有率向量A ； （2）、调查消费者的变动情况，计算转移概率矩阵B ； （3）、利用向量A 和转移概率矩阵B 预测下一期本企业产品市场占有率。 由于市场上生产与本企业产品相同的同类企业有许多家，但我们最关心的是本企业产品的市场占有率。对于众多消费者而言，够不够买本企业的产品纯粹是偶然事件，但是若本企业生产的产品在质量、价格、营销策略相对较为稳定的情况下，众多消费者的偶然的购买变动就会演变成必然的目前该类产品相对稳定的市场变动情况。因为原来购买本企业产品的消费者在奖励可能仍然购买本企业的产品，也可能转移到购买别的企业的同类产品，而原来购买其他企业产品的消费者在将来可能会转移到购买本企业产品，两者互相抵消，就能形成相对稳定的转移概率。 若已知某产品目前市场占有率向量A ，又根据调查结果得到未来转移概率矩阵B ，则未来某产品各企业的市场占有率可以用A 乘以B 求得。即： 111212122212312*()*n n n n n nn a a a a a a A B p p p p a a a ????????????=????????????????????? 三、模型假设 1、购买3种类型产品的顾客总人数基本不变； 2、市场情况相对正常稳定，没有出现新的市场竞争； 3、没有其他促销活动吸引顾客。
北方民族大学 信息与计算科学学院 课程名称: 应用随机过程 姓名：___ 何义连方芳朱雪梅阿热孜古丽 学号： 20093241 20093208 20093284 20093177 专业：数学与应用数学 班级： 09级（5）班
天气变化情况是人们普遍关注的重点问题之一。借助随机过程中著名的马尔可夫链模型，以某日天气的状态转移数据为算例，建立了天气情况预测模型，并借助该模型对未来天气的变化趋势作出了预测分析。马尔科夫过程应用广泛，它的重要特征是无后效性。事物第t 次出现的状态，只与其第t一1次的状态有关，它与以前的状态无关。因此，运用马尔科夫链，只需要最近或现在的动态资料则可按转移概率可预测将来。这一基本思想可应用于天气预报、作物产量预报、病虫害预报等，也可应用于水文、通信技术和遗传学研究中。 1马尔科夫链预测的数学模型 1．1马尔科夫链和马尔科夫预测法概念 马尔科夫链是与马尔科夫过程紧密相关的一个概念。满足马尔可夫链的事物过程具有如下的三个特点： a．过程的离散性．事物的发展在时间上可离散化为有限或可列个状态。 b．过程的随机性．系统内部从一个状态转移到另一个状态是随机的，转变的可能由系统内部的以前历史情况的概率值表示。 c．过程的无后效性．系统内部的转移概率只与当前状态有关而与以前的状态无关。 设有随机过程{X(t)，t∈T)，若对任意的整数t∈T，{X(t)，t=0，1，2 ，3】(状态空间为I)参数为非负整数， 把这类过程称为马尔科夫链。马尔科夫链指出事物系统的状态由过去转变到现在，再由现在转变到将来，一环接一环像一根链条，而作为
马尔科夫链的动态系统将来是什么状态，取什么值，只与现在的状态、取值有关，而与它以前的状态、取值无关。为了描述马氏链的(n+1)维概率分布，最重要的是条件概率P{X （t +1)=j ，X(t)=i )，称这条件概率为在时刻t 时的一步转移概率P 它表示在时刻t 时，X(t)=i 条件下，下一时刻t+l 时X(t +1) =j 的概率。将Pi ，依次排序，可得一步转移概率矩阵 ????? ???? ???=3332 31 30 2322212013 121110 03020100 p p p p p p p p p p p p p p p p p 我们称概率分布)i (I ∈，π为马尔可夫链的平稳分布，其中I 为状态空间，它满足下列关系： ) 0(>=∑∈i i ij I i i p πππ 1 =∑∈I i i π 1．2多步状态转移概率矩阵的计算 与起始时刻无关的马尔科夫链成为齐次马尔科夫链，m 步转移概率矩阵可以从一步转移概率矩阵P 自乘m 次得到，也可通过切普曼一柯尔莫格洛夫(c —k)方程得到。设P ∞)代表m 步转移概率矩阵，则根据切普曼一柯尔莫格洛夫(C 一k)方程可得 m 1() (P) (P =??==-） m m P p 其中 ) 1(p 即是一步转移概率矩阵P 。这样，如果知道了马尔科夫链的 初始概率分布，即初始时刻各个状态的概率，并且知道它的一步转移
文献综述 数学与应用数学 马尔可夫链预测方法及其一类应用 马尔可夫性是俄国数学家A.A.Mapkov 在1906年最早提出的. 但是, 什么是马尔可夫性呢? 一般来讲,认为它是“相互独立性”的一种自然推广. 设有一串随机事件,...,,...,,121n n A A A A -中（即n A 属于概率空间（P ,,ξΩ）中的σ代数ξ，1≥n ）, 如果它们中一个或几个的发生, 对其他事件的发生与否没有影响, 则称这一串事件是相互独立的（用概率空间（P ,,ξΩ）的符号表示, 即))()(11n m n m n n A P A P X I ===, 推广下, 如果在已知,...,1+n n A A 中的某些事件的发生, 与,,...,,121-n A A A 中的事件发生与否无关, 则称这一串事件{1:≥n A n }具有马尔可夫性. 所以说, 马尔可夫性可视为相互独立性的一种自然推广. 从朴素的马尔可夫性, 到抽象出马尔可夫过程的概念, 从最简单的马尔可夫过程到一般的马尔可夫过程, 经历了几十年的发展过程. 它有极其深厚的理论基础, 如拓扑学、函数论、几何学、近世代数、泛函分析. 又有很广泛的应用空间, 如随机分形、近代物理、公共事业中的服务系统、电子信息、计算技术等. 在现实世界中, 有很多过程都是马尔可夫过程, 如软件可靠性测试、传染病受感染的人数、农村剩余劳动力流动趋势预测、液体中微粒所作的布朗运动、产品市场占有率及利润率的变动, 车站排队问题等等, 都可视为马尔可夫过程. 所谓马尔可夫链是指时间连续(或离散)、状态可列、时间齐次的马尔可夫过程. 之所以要研究这种过程, 一方面是由于它的理论比较完整深入, 可以作为一般马尔可夫过程及其他随机过程的借鉴; 二是由于它在自然科学和许多实际问题(如遗传学、教育学、经济学、建筑学、规则论、排队论等)中发挥着越来越大的作用. 自从我国著名数学家、教育家、中科院王梓坤院士在上世纪50年代将马尔可夫理论引入国内以后, 我国数学家对马尔可夫过程的研究也取得了非常好的效果, 在生灭过程的构造和它的积分型泛函的分布、马尔可夫过程的零壹律、Martin 边界与过份函数、马尔可夫过程
隐马尔科夫链及其应用 学习概率的时候，大家一定都学过马尔科夫模型吧，当时就觉得很有意思，后来看了数学之美之隐马模型在自然语言处理中的应用后，看到隐马尔科夫模型竟然能有这么多的应用，并且取得了很好的成果，更觉的不可思议，特地深入学习了一下，这里总结出来。 马尔科夫过程 马尔科夫过程可以看做是一个自动机，以一定的概率在各个状态之间跳转。 考虑一个系统，在每个时刻都可能处于N个状态中的一个，N个状态集合是{S1,S2,S3,...SN}。我们现在用q1,q2,q3,…qn来表示系统在t=1,2,3,…n时刻下的状态。在t=1时，系统所在的状态q取决于一个初始概率分布PI，PI(SN)表示t=1时系统状态为SN的概率。 马尔科夫模型有两个假设： 1.系统在时刻t的状态只与时刻t-1处的状态相关；（也称为无后效性） 2.状态转移概率与时间无关；（也称为齐次性或时齐性） 第一条具体可以用如下公式表示： P(q t=S j|q t-1=S i,q t-2=S k,…)= P(q t=S j|q t-1=S i) 其中，t为大于1的任意数值，Sk为任意状态 第二个假设则可以用如下公式表示： P(q t=S j|q t-1=S i)= P(q k=S j|q k-1=S i) 其中，k为任意时刻。 下图是一个马尔科夫过程的样例图：
可以把状态转移概率用矩阵A表示，矩阵的行列长度均为状态数目，aij表示P(Si|Si-1)。 隐马尔科夫过程 与马尔科夫相比，隐马尔科夫模型则是双重随机过程，不仅状态转移之间是个随机事件，状态和输出之间也是一个随机过程，如下图所示： 此图是从别处找来的，可能符号与我之前描述马尔科夫时不同，相信大家也能理解。
基于绝对分布的马尔可夫链预测方法 对于一列相依的随机变量，用步长为一的马尔可夫链模型和初始分布推算出未来时段的绝对分布来做预测分析，即为传统的马尔可夫链预测方法之一，可称之为“基于绝对分布的马尔可夫链预测方法”，不妨记其为“ADMCP法”。其具体方法步骤如下: (1)计算指标值序列均值x，均方差s，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体间题的要求进行。例如，可以样本均方差为标准(也可以用有序聚类的方法建立分级标准等)将指标值分级，即按4.2.1中指出的方法确定马尔可夫链的状态空间E=[1, 2，一，m]; (2)按(1)所建立的分级标准，确定资料序列中各时段指标值所对应的状态; (3)对(2)所得的结果进行统计计算，可得步长为一的马尔可夫链的转移概率矩阵 ，它决定了指标值状态转移过程的概率法则; (4)“马氏性”检验(应用工作者使用该方法时，一般都不做这一步，本文加上这一步意在完善"ADMCP法，’); (5)若以第1时段作为基期，该时段的指标值属于状态i，则可认为初始分布为 这里P(0)是一个单位行向量，它的第i个分量为1，其余分量全为0。于是第l+1时段的绝对分布为 第l+1时段的预测状态j满足: ;为预测第l+k时段的状态，则可 得到所预测的状态j满足: (6)可进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。 4.3.2叠加马尔可夫链预测方法 对于一列相依的随机变量，利用各阶(各种步长)马尔可夫链求得的绝对分布叠加来做预测分析，也是传统的马尔可夫链预测方法之一，可称之为“叠加马尔可夫链预测方法”不妨记其为“SPMCP 法’，。其具体方法步骤如下: (1)计算指标值序列均值x，均方差s，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体问题的要求进行; (2)按“(1)"所建立的分级标准，确定资料序列中各时段指标值所对应的状态: (3)对“(2)”所得的结果进行统计，可得不同滞时(步长)的马尔可夫链的转移概率矩阵，它决定了指标值状态转移过程的概率法则; (4)“马氏性”检验(应用工作者使用该方法时，一般也不做这一步，本文加上这一步同样意在完善，"SPMCP法”): (5)分别以前面若干时段的指标值为初始状态，结合其相应的各阶转移概率矩阵即可预测出该时段指标值的状态概率 (6)将同一状态的各预测概率求和作为指标值处于该状态的预测概率，即 ,所对应的i即为该时段指标值的预测状态。待该时段的指标值确定之后，将其加入到原序列之中，再重复步骤"(1)一(6)"，可进行下时段指标值状态的预测。
实验7：马尔柯夫预测 7.1实验目的 1、了解状态及状态转移的概念，理解马尔科夫链定义和性质，能根据具体实例和研究目的划分状态； 2、掌握用Excel 软件计算一步转移概率矩阵的全过程； 3、掌握利用Excel 软件进行马尔科夫链、市场占有率、马尔科夫稳态的相关预测。 7.2实验原理 7.2.1 马尔柯夫预测的基本原理 马尔可夫预测法是马尔科夫过程和马尔科夫链在经济预测领域的一种应用，这种方法通过对事物状态划分、研究各状态的初始概率和状态之间转移概率来预测事物未来状态变化趋势，以预测事物的未来。 7.2.1．1马尔可夫链 若时间和状态参数都是离散的马尔科夫过程，且具有无后效性，这一随机过程为马尔可夫链。无后效性可具体表述为如果把随机变量序列{}(),Y t t T ∈的时间参数s t 作为“现在”，那么s t t >表示“将来”，s t t <表示“过去”，那么，系统在当前的情况()s Y t 已知的条件下，()Y t “将来”下一时刻所处的的情况与“过去”的情况无关，随机过程的这一特性称为无后效性。 7.2.1．2状态及状态转移 1、状态是指客观事物可能出现或存在的状况。在实际根据研究的不同事物、不同的预测目的，有不同的预测状态划分。 （1）预测对象本身有明显的界限，依状态界限划分。如机器运行情况可以分为“有故障”和“无故障”两种状态，天气有晴、阴、雨三种状态。（2）研究者根据预测事物的实际情况好预测目的自主划分。如：公司产量按获利多少人为的分为畅销、一般销售、滞销状态。这种划分的数量界限依产品不同而不同。 2、状态转移是指所研究的系统的状态随时间的推移而转移，及系统由某一时期所处的状态转移到另一时期所处的状态。发生这种转移的可能性用概率描述，称为状态转移概率 7.2.2状态转移概率矩阵及计算原理 1、概念：状态转移概率指假如预测对象可能有E 1，E 2，…，E n 共n 种状态，
开题报告 数学与应用数学 马尔可夫链预测方法及其一类应用 一、综述本课题国内外研究动态, 说明选题的依据和意义 概率论自1654年创立以来, 已由最初的博弈分析问题发展成为现今的方法论综合性学科. 而其中随机过程已经是现代概率论发展的必然性. 在这其中, 马尔可夫在1906年的"大数定理关于相依变量的扩展"（Extension de la loi de grands bombers etc）论文中首次创立的马尔可夫链已经成为了概率论的重中之重. 马尔可夫是世界上著名的数学家、社会学家. 他所研究的范围非常的广泛, 涉及到概率论、数论、数的集合、函数逼近论、数理统计、微分方程等方面. 马尔可夫在1906~1912年间, 他提出并研究了一种能用数学分析方法研究自然过程的一般图示, 后人把这种图示以他的姓氏命名为马尔可夫链(Markov Chain). 在当时, 马尔可夫开创性地采用了一种对无后效性的随机过程的研究范式, 即在已知当前状态的情况下, 过程的未来状态与其过去状态无关, 这就是现在大家非常熟悉了解的马尔可夫过程. 在现实生活当中, 有许多过程都能被看作成马尔可夫过程. 如软件可靠性测试、传染病受感染的人数、农村剩余劳动力流动趋势预测、液体中微粒所作的布朗运动、产品市场占有率及利润率的变动等等. 也正是由于马尔可夫链在生活中所具有的普遍存在性, 马尔可夫链理论才被广泛应用于近代的物理学, 生物学, 地质学, 计算机科学, 公共事业, 教育管理、经济管理、以及企业人员管理、桥梁建筑等各个领域. 马尔可夫链运用数学模型对定性问题进行预测提供了一种思路, 丰富了预测的内容. 其大体上可以分为以下几个步骤: 首先, 把现象看作成为一个系统, 并对该系统进行科学的划分. 根据系统的实际和需要划分出多个状态, 系统所划分出来的各个状态就是要预测的内容. 其次, 对现象各种状态的状态概率进行统计测定, 也就是判定出系统当前处于什么状态. 然后, 对各系统未来发展的每次转移概率进行预测, 就是要确定出系统是如何转移的. 最后, 根据系统当前的各种状态和转移概率矩阵, 推测出系统经过若干次转移后, 到达
6.2 Suppose that a one-celled organism can be in one of two states-either A or B. An individual in state A will change to state B at an exponential rate α; an individual in state B divides into two new individuals of type A at an exponential rate β. Define an appropriate continuous-time Markov chain for a population of such organisms and determine the appropriate parameters for this model. 6.3 Consider two machines that are maintained by a single repairman. Machine i functions for an exponential time with rate μbefore breaking down, i = 1,2. The repair times (for either i machine) are exponential with rate μ. Can we analyze this as a birth and death process? If so, what are the parameters? If not, how can we analyze it?
信息论与编码课程习题1——预备知识 概率论与马尔可夫链 1、某同学下周一上午是否上课，取决于当天情绪及天气情况，且当天是否下雨与心情好坏没有关系。若下雨且心情好，则50%的可能会上课；若不下雨且心情好，则有10%的可能性不上课；若不下雨且心情不好则有40%的可能性上课；若下雨且心情不好，则有90%的可能不会上课。假设当天下雨的概率为30%，该同学当天心情好的概率为20%，试计算该同学周一上课的可能性是多大？ 分析： 天气情况用随机变量X 表示，“0”表示下雨，“1”表示不下雨；心情好坏用Y 表示，“0”表示心情好用“0”表示，心情不好用“1”表示；是否上课用随机变量Z 表示，“0”表示上课，“1”表示不上课。由题意可知 已知{ EMBED Equation.KSEE3 \* MERGEFORMAT |[]5.00,0|0====Y X Z P ， ， ， ， ， ， 即题目实际上给出了八个个条件概率和四个概率 由于X ，Y 相互独立，则有 = 注意：全概率公式的应用 2、已知随机变量X 和Y 的联合分布律如又表所示， 且，，求： 1）的分布律与数学期望 2）的分布律与数学期望 3）大于10的概率 4）由上面的例子，你是否能得到离散随机变量函数的数学期望的一般表达式？包括一元和多元随机变量函数。 X Y 5 6 1 0.2 0.3 2 0.1 0.4
分析： 1） 2） 说明：主要考虑联合分布律与随机变量函数分布律的关系 3） 4） and so on. 3、已知随机变量的概率密度函数为，其中，为的函数，求： 1）随机变量X 小于或等于5的概率 2）随机变量Y 的概率密度函数 3）随机变量Y 大于10的概率 4）随机变量Y 的数学期望 分析 1） 2）假设用分别表示随机变量X 的分布函数、随机变量Y 的概率密度函数和分布函数，则有： 有 3） 4） 4、已知随机变量和的联合概率密度函数为 ，。 1）求随机变量Z 的数学期望 2）求随机变量Z 的概率密度函数 3）结合习题3，总结连续随机变量的函数的数学期望的一般表达式，包括包括一元和多元 Z1 6 7 9 10 P 0.2 0.3 0.1 0.4
管理预测与决策马尔科夫链模型的应用研究 姓名： 学号： 专业： 指导教师： 2012年11月1日
摘要 预测春运客流量是铁路部分的一项重要工作。运用马尔科夫链模型可以对 春运期间一天中的客流量进行预测。 首先，介绍了马尔科夫链模型及其预测的基本原理；其次，分析了**火车站2011年春运期间每天的客流量，并按照**火车站突发事件三级预警方案将客流量数据处理为三个状态；最后，运用马尔科夫链模型对2011年的春运客流进行预测，结果表明，运用马尔科夫链模型具有良好的预测结果。 关键词：马尔科夫链模型；火车站；客流量
马尔科夫链模型的应用研究 **站每年春运都面临着大规模客流。大量人群的聚集会带来许多安全隐 患，相关领导部门非常重视。如果能够根据以往的客流量，对下一年的春运客流量做出正确预测，就能够为领导决策层提供有力的信息支持，使他们能够提前做好应对高峰客流的准备，从而降低风险。影响春运客流的因素很多，并且各个因素的作用机制无法用精确的熟悉模型描述。目前常用的预测方法主要有数学模型方法和人工经验模型法。对客流量做预测，目前所知道的是以前客流量的记录。 如何从大量已知的数据中挖掘出有用的信息或知识，为下一步工作服务，这是数据挖掘技术所完成的工作。数据挖掘领域中有许多新的研究成果，如关联规则、Web挖掘、马尔科夫链模型等。其中马尔科夫链模型是近年来在数据挖掘方法的 一个研究热点。本文运用该方法对**站春运客流进行预测。 1.马尔科夫链模型 1．1马尔科夫链 马尔科夫链，是数学领域中具有马尔科夫性质的离散时间随机过程。该过 程中，在给定当前指示或信息的情况下，过去（即现在时期以前的历史状态）对 与预测将来（即现在时期以后的状态）是无关的。如果n个连续变动事物在变动过程中，其中任一次变动的结果都具有无后效性，那么，这n个连续变动事物的集合就叫做马尔科夫链，这类事物演变的过程称为马尔科夫过程。 1.2 马尔科夫预测的基本原理 对事件的全面预测，不仅要能够指出事件发生的各种可能结果，而且还必 须给出每一种结果出现的概率，说明被预测的事件在预测期内出现每一种结果的 可能性程度。这就是关于事件发生的概率预测。马尔科夫预测法，就是一种关于事件发生的概率预测方法。它是根据事件的目前状况来预测其将来各个时刻（或时期）变动状况的一种预测方法。
马尔可夫链预测方法 一、基于绝对分布的马尔可夫链预测方法 对于一列相依的随机变量，用步长为一的马尔可夫链模型和初始分布推算出未来时段的绝对分布来做预测分析方法，称为“基于绝对分布的马尔可夫链预测方法”，不妨记其为“ADMCP 法”。其具体方法步骤如下: 1．计算指标值序列均值x ，均方差s ，建立指标值的分级标准，即确定马尔可夫链的状态空间I ，这可根据资料序列的长短及具体间题的要求进行。例如，可用样本均方差为标准，将指标值分级，确定马尔可夫链的状态空间 I =[1, 2，…，m ]； 2．按步骤1所建立的分级标准，确定资料序列中各时段指标值所对应的状态； 3．对步骤2所得的结果进行统计计算，可得马尔可夫链的一步转移概率矩阵1P ，它决定了指标值状态转移过程的概率法则； 4．进行“马氏性” 检验； 5．若以第1时段作为基期，该时段的指标值属于状态i ，则可认为初始分布为 (0)(0,,0,1,0,0)P = 这里P (0)是一个单位行向量，它的第i 个分量为1，其余分量全为0。于是第2时段的绝对分布为 1(1)(0)P P P =12((1),(1),,(1))m p p p = 则第2时段的预测状态j 满足：(1)max{(1),}j i p p i I =∈； 同样预测第k ＋1时段的状态，则有 1()(0)k P k P P =12((),(),,())m p k p k p k = 得到所预测的状态j 满足: ()max{(),}j i p k p k i I =∈ 6．进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。 二、叠加马尔可夫链预测方法 对于一列相依的随机变量，利用各种步长的马尔可夫链求得的绝对分布叠加来做预测分析，的方法，称为“叠加马尔可夫链预测方法”，不妨记其为“SPMCP 法’。其具体方法步骤如下: 1) 计算指标值序列均值x ，均方差s ，建立指标值的分级标准(相当于确定马尔可夫链的状态空间)，可根据资料序列的长短及具体问题的要求进行； 2) 按1)所建立的分级标准，确定资料序列中各时段指标值所对应的状态； 3) 对2)所得的结果进行统计，可得不同滞时(步长)的马尔可夫链的转移概率矩阵，它决定了指标值状态转移过程的概率法则； 4) 马氏性检验； 5) 分别以前面若干时段的指标值为初始状态，结合其相应的各步转移概率矩阵即可预测出该时段指标值的状态概率 (6)将同一状态的各预测概率求和作为指标值处于该状态的预测概率，即 ,所对应的i 即为该时段指标值的预测状态。待该时段的指标值确定之后，将其加 入到原序列之中，再重复步骤"(1)一(6)"，可进行下时段指标值状态的预测。 (7)可进一步对该马尔可夫链的特征(遍历性、平稳分布等)进行分析。
马尔可夫链模型 在考察随机因素影响的动态系统时，常常碰到这样的情况，系统在每个时期所处的状态是随机的，从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各时期的状态无关。这种性质称为无后效性或马尔可夫性。通俗的说就是已知现在，将来与历史无关。 具有马氏性的，时间、状态无为离散的随机转移过程通常用马氏链(Markov Chain)模型描述。 马氏链模型在经济、社会、生态、遗传等许多领域中有着广泛的应用。值得提出的是，虽然它是解决随机转移过程的工具，但是一些确定性系统的状态转移问题也能用马氏链模型处理。 马氏链简介： 马氏链及其基本方程：按照系统的发展，时间离散化为 0,1,2,n = ，对每个n ，系统的状态用随机变量n X 表示，设n X 可以 取k 个离散值1,2,,n X k = ，且n X i =的概率记作() i a n ，称为状态概 率，从n X i =到1 n X j +=的概率记作ij p ，称为转移概率。如果1 n X +的 取值只取决于n X 的取值及转移概率，而与1 2,,n n X X -- 的取值无关， 那么这种离散状态按照离散时间的随机转移过程称为马氏链。 由状态转移的无后效性和全概率公式可以写出马氏链的基本方程为 1 (1)()1,2,,k i j ij j a n a n p i k =+= =∑
并且() i a n 和ij p 应满足 1 1 ()10,1,2,;0 ;1 1,2,,k k j ij ij j j a n n p p i k ====≥==∑∑ 引入状态概率向量和转移概率矩阵 12()((),(),,()) {}k ij k a n a n a n a n P p == 则基本方程可以表为1 (1)()(0)n a n a n P a P ++== 例1：某商店每月考察一次经营情况，其结果用经营状况好与孬表示。若本月经营状况好，则下月保持好的概率为0.5，若本月经营状况不好，则下月保持好的概率为0.4，试分析该商店若干时间后的经营状况。 解：商店的经营状况是随机的，每月转变一次。用随机变量n X 表示第n 个月的经营状况，称为经营系统的状态.1,2 n X =分别表示 好与不好，0,1,n = 。用() i a n 表示第n 月处于状态i 的概率（1,2i =） 即()()i n a n P X i ==，ij p 表示本月处于状态i ，下月转为状态j 的概率。 这里1 n X +无后效性，只取决于n X 和ij p 。 112112220.5,0.4,0.5,0.6p p p p ==∴== 根据全概率公式可以得到： 11112212112222 (1)()()0.50.5(1)()(1)()()0.4 0.6a n a n p a n p a n a n P P a n a n p a n p +=+??? ?+==? ?+=+?? ? 假设这个递推公式存在极限w ，有w w P = ，即()0w P E -=。于 是当经营状况好或孬时，经计算可以得到下面的结果
马尔科夫预测与决策法
马尔科夫预测与决策法——是应用随机过程中马尔科夫链的理论和方法研究分析有关经济现象变化规律并借此对未来进行预测和决策的一种方法。 池塘里有三张荷叶，编号为1，2，3，假设有一只青蛙随机地在荷叶上跳来跳去。在初始时刻t ，它在第二张荷叶上。在时 ，它有可能跳到第一张或者第三张荷叶上，也有可能在原刻t 1 地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状态。这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关。实际上青蛙在一段时间内在荷叶间跳或不跳的过程就是一个马尔科夫过程。 2010年6月6日Sunday2
马尔可夫性与转移概率矩阵 一个过程或系统在未来时刻的状态只依赖于现状时刻的状态，而与以往更前的时刻无关，这一特性就成为无后效性（无记忆性）或马尔可夫性（简称马氏性）。换一个说法，从过程演变或推移的角度上考虑，如果系统在时刻的状态概率，仅依赖于当前时刻的状态，而与如何达到这个状态的初始概率无关，这一特性即马尔可夫性。 2010年6月6日Sunday3
设随机变量序列，{X ,X2, ···,X n, ···},它的状态集合记为 1 S= {s1,s2 , ···, s n, ···} 若对任意的k和任意的正整数i , i2 , ···,i k, i k+1,有下式成 1 立： P{X k+1= s ik+1| X1= s i1, X2= s i2, ···X k= s ik} = P{X k+1= s ik+1| X k= s ik} ,X2, ···,X n, ···} 为一个马尔可夫则称随机变量序列{X 1 链（Markov chains）。 2010年6月6日Sunday4
马尔可夫链 在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。例如，微分方程的初值问题描述的物理系统属于这类随机性现象。随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。 在贝努利过程(){} ,1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。 在维纳过程(){} ,0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。 在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数 ()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进 入商店的顾客无关。 一、马尔可夫过程 定义：给定随机过程 (){},X t t T ∈。如果对任意正整数3n ≥，任意的 12,,1, ,n i t t t t T i n <<<∈=，任意的11, ,,n x x S -∈S 是()X t 的状态空间，总有 ()()()1111|,n n n n P X x X t x X t x --≤== ()() 11|,n n n n n P X x X t x x R --=≤=∈ 则称(){} ,X t t T ∈为马尔可夫过程。 在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12, ,n t t -是“过 去”。马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122, ,n n X t x X t x --==无关。这就体现了马尔可夫过程具有无后效性。 通常也把无后效性称为马尔可夫性。 从概率论的观点看，马尔可夫过程要求，给定()()1111,,n n X t x X t x --==时，() n X t 的条件分布仅与()11n n X t x --=有关，而与()()12, ,n X t X t -无关。
马氏链的应用 ----转移矩阵的应用 一摘要 随机过程，作为对一连串随机事件动态关系的定量描述，在自然科学、工程科学以及社会科学各领域具有重要应用。 数学上的随机过程是由实际随机过程概念引起的一种数学结构。人们研究这种过程，是因为它是实际随机过程的数学模型，或者是因为它的内在数学意义以及它在概率论领域之外的应用。随机过程的概念很广泛，因而随机过程的研究几乎包括概率论的全部。虽然不能给出一个有用而又狭窄的定义，但是概率论工作者在使用随机过程这个术语时，通常想到的是其随机变量具有某种有意义的相互关系的随机过程。由于这些过程类在数学上和非数学上的应用中十分重要，用这种理论工具，可以对常见的过程进行分析，进行一系列随机计算，从而可以将随机过程这一理论工具应用到实际中去，可以进行预测与决策，是相关数学模型的理论基础。 马尔可夫链，因安德烈·马尔可夫得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来是无关的。马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。企业的经济活动分析在企业的经营管理中发挥着日益重要的作用，马氏链
对事后实事求是地分析、总结企业完成的经济活动和事前科学地预测、判断企业未来的经济活动都是必不可少的[2]。一般情况下，经济预测的定量方法要用到数学模型，而定性方法则不需要。马尔可夫链为经济领域中运用数学模型对定性问题进行预测提供了一种思路，丰富了经济预测方法的内容。企业是一个动态变化的系统，在这一系统中，有一些变量和因素会随时间的推移而不断的随机变化。而马尔可夫链预测法又是一种适用于随机过程的科学、有效的动态预测方法，它立足于当前通过市场调查等途径所获现实资料的基础上，运用马尔可夫链的基本原理和方法对数据资料进行运算得出预测结果，因此很适用于企业的经济预测。本文就是运用马尔可夫链理论建立了一系列预测模型，使之能够给企业提供更大的帮助。 二实验目的 通过对马氏链理论的叙述，对其深入了解，将其应用到实际生活中，解决一些相关的问题。比如单个生产厂家的产品在同类商品总额中所占的比率，称为该厂产品的市场占有率。在激烈的竞争中，市场占有率随产品的质量、消费者的偏好以及企业的促销作用等因素而发生变化。企业在对产品种类与经营方向做出决策时，需要预测各种商品之间不断转移的市场占有率。本文主要研究的是马氏链的转移矩阵问题，这在课本上有讲到。课本中例题也有讲到，通过多做习题，也可以加深对转移矩阵的理解。三理论分析