下载文档原格式
马尔可夫链（Markov Chain）是一种数学模型，用来描述一系列事件，其中每个事件的发生只与前一个事件有关，而与之前的事件无关。
这种特性被称为“无后效性”或“马尔可夫性质”。
马尔可夫链常用于统计学、经济学、计算机科学和物理学等领域。
在统计学中，马尔可夫链被用来建模时间序列，如股票价格或天气模式。
在经济学中，马尔可夫链被用于预测经济趋势。
在计算机科学中，马尔可夫链被用于自然语言处理、图像处理和机器学习等领域。
在物理学中，马尔可夫链被用于描述粒子系统的行为。
马尔可夫链的数学表示通常是一个转移概率矩阵，该矩阵描述了从一个状态转移到另一个状态的概率。
对于给定的状态，转移概率矩阵提供了到达所有可能后续状态的概率分布。
马尔可夫链的一个关键特性是它是“齐次的”，这意味着转移概率不随时间变化。
也就是说，无论链在何时处于特定状态，从该状态转移到任何其他状态的概率都是相同的。
马尔可夫链的方程通常表示为：P(X(t+1) = j | X(t) = i) = p_ij其中，X(t)表示在时间t的链的状态，p_ij表示从状态i转移到状态j的概率。
这个方程描述了马尔可夫链的核心特性，即未来的状态只与当前状态有关，而与过去状态无关。
马尔可夫链的一个重要应用是在蒙特卡罗方法中，特别是在马尔可夫链蒙特卡罗（MCMC）方法中。
MCMC 方法通过构造一个满足特定条件的马尔可夫链来生成样本，从而估计难以直接计算的统计量。
这些样本可以用于估计函数的期望值、计算积分或进行模型选择等任务。
总之，马尔可夫链是一种强大的工具，用于建模和预测一系列相互关联的事件。
通过转移概率矩阵和马尔可夫链方程，可以描述和分析这些事件的行为和趋势。
matlab 指数分布 markov 转移概率矩阵Matlab指数分布Markov转移概率矩阵在概率论与统计学中，指数分布是一种描述连续随机变量间隔时间的概率分布。
而马尔可夫链则是一种随机过程，其中未来状态只依赖于当前状态，与过去状态无关。
本文将介绍如何使用Matlab来计算指数分布的Markov转移概率矩阵。
1. 概述指数分布是一种连续概率分布，用于描述事件之间的间隔时间。
它的概率密度函数为:f(x) = λ * exp(-λx), 当x>=0，否则为0其中，λ为分布的参数，表示单位时间内事件发生的平均次数。
2. Markov链Markov链是一种具有马尔可夫性质的随机过程。
在Markov链中，未来的状态只取决于当前的状态，与过去的状态无关。
转移概率矩阵用于描述Markov链中状态之间的转移概率。
3. 计算Markov转移概率矩阵为了计算指数分布的Markov转移概率矩阵，我们需要首先确定状态间的转移概率。
假设我们有一个指数分布的随机变量X，其参数为λ。
我们可以将其分成n个等间隔的区间，每个区间表示一个状态。
假设每个区间的长度为Δ，那么我们可以得到以下状态转移概率矩阵P:P(i, j) = P(X ∈ [jΔ, (j+1)Δ] | X ∈ [(i-1)Δ, iΔ])其中，P(i, j)表示从状态i到状态j的转移概率。
4. 使用Matlab计算Markov转移概率矩阵在Matlab中，我们可以使用以下代码来计算指数分布的Markov转移概率矩阵:```matlablambda = 0.2; % 指数分布的参数n = 10; % 状态的个数delta = 1; % 区间的长度P = zeros(n, n); % 转移概率矩阵for i = 1:nfor j = 1:nP(i, j) = exp(-lambda * delta * (j - i));endP(i, :) = P(i, :) / sum(P(i, :)); % 归一化end```在这段代码中，我们预设了lambda为0.2，状态的个数为10，区间的长度为1。
摘要问题一考虑到水流由地势高流向地势低，将原始数据进行处理，并建立0-1变量来评定两个村庄间能否建立泄洪河道。
再由修建泄洪河道的费用计算式，分析影响费用大小的两大制约因素承载泄洪量和泄洪河道长度，可得两种分别以泄洪量大河道短和泄洪量小河道长为主的修建河道的方案，综合考量这两个因素，确立目标函数的约束条件，建立非线性规划，运用LINGO软件对模型进行优化求解。
问题二中，主要应用了马尔科夫链的相关定义和性质建立数学模型，运用MATLAB编程得出运行结果。
模型中对等可能概率与非等可能概率进行不同的求解，给出了相关通用方的模型。
对运算后得到的稳定性进行判定与分析。
问题三考虑到修建泄洪水道可能会导致下游村庄承载泄洪量过高，而致使修建难度提高，维修不易等因素，我们提出可以修建水库。
这样不仅缓解了下游的泄洪水道压力，而且水库具有滞洪、蓄洪，调节水源的作用，可以有效的减少洪涝灾害带来的损失。
一．问题重述某个偏远贫困乡，地处山区，一旦遇到暴雨，经常发生洪涝灾害。
以往下雨时，完全是依靠天然河流进行泄洪。
2010年入夏以来，由于史无前例的连日大雨侵袭，加上这些天然河流泄洪不畅，造成大面积水灾，不仅夏粮颗粒无收，而且严重危害到当地群众的生命财产安全。
为此，乡政府打算立即着手解决防汛水利设施建设问题。
从长远考虑，可以通过修建新泄洪河道的办法把洪水引出到主干河流。
经测算，修建新泄洪河道的费用为LQP51.066.0（万元），其中Q表示新泄洪河道的可泄洪量（万立方米/小时），L表示新泄洪河道的长度（公里）。
该乡共有10个村,分别标记为①—⑩，下图给出了它们大致的相对地理位置，海拔高度总体上呈自西向东逐渐降低的态势。
①②③④⑤⑥⑦⑧⑨⑩其中村⑧距离主干河流最近，且海拔高度最低。
乡政府打算拟定一个修建在各村之间互通的新泄洪河道网络计划，将洪水先通过新泄洪河道引入村⑧后，再经村⑧引出到主干河流。
要求完成之后，每个村通过新泄洪河道能够达到可泄洪量100万立方米/小时以上的泄洪能力。
马尔科夫链matlab程序自己编写的马尔科夫链程序A 代表一组数据序列一维数组本程序的操作对象也是如此t=length(A); % 计算序列“A”的总状态数 B=unique(A); % 序列“A”的独立状态数顺序，“E”E=sort(B,'ascend');a=0;b=0;c=0;d=0;for j=1:1:ttLocalization=find(A==E(j)); % 序列“A”中找到其独立状态“E”的位置for i=1:1:length(Localization) if Localization(i)+1>tbreak; % 范围限定 elseif A(Localization(i)+1)== E(1)a=a+1;elseif A(Localization(i)+1)== E(2)b=b+1;elseif A(Localization(i)+1)== E(3)c=c+1;% 依此类推，取决于独立状态“E”的个数elsed=d+1;endendT(j,1:tt)=[a,b,c,d]; % “T”为占位矩阵 endTT=T;for u=2:1:ttTT(u,:)= T(u,:)- T(u-1,:); endTT; % 至此，得到转移频数矩阵Y=sum(TT,2);for uu=1:1:ttTR(uu,:)= TT(uu,:)./Y(uu,1); endTR % 最终得到马尔科夫转移频率/概率矩阵 % 观测序列马尔科夫性质的检验: N=numel(TT);uuu=1;Col=sum(TT,2); % 对列求和Row=sum(TT,1); % 对行求和 Total=sum(Row); % 频数总和 for i=1:1:tt for j=1:1:ttxx(uuu,1)=sum((TT(i,j)-(Row(i)*Col(j))./Total).^2./( (Row(i)*Col(j))./Total));uuu=uuu+1; % 计算统计量x2 endendxx=sum(xx)。
马尔可夫链在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。
例如，微分方程的初值问题描述的物理系统属于这类随机性现象。
随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。
在贝努利过程(){},1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。
在维纳过程(){},0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。
在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。
易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进入商店的顾客无关。
一、马尔可夫过程定义：给定随机过程(){},X t t T ∈。
如果对任意正整数3n ≥，任意的12,,1,,n i t t t t T i n <<<∈=，任意的11,,,n x x S -∈S 是()X t 的状态空间，总有()()()1111|,n n n n P X x X t x X t x --≤==()()11|,n n n n n P X x X t x x R --=≤=∈ 则称(){},X t t T ∈为马尔可夫过程。
在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t -是“过去”。
马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --==无关。
马氏链模型及m a t l a b程序文档编制序号：[KKIDT-LLE0828-LLETD298-POI08]一、用法，用来干什么，什么时候用二、步骤，前因后果，算法的步骤，公式三、程序四、举例五、前面国赛用到此算法的备注一下马氏链模型用来干什么马尔可夫预测法是应用概率论中马尔可夫链（Markov chain）的理论和方法来研究分析时间序列的变化规律，并由此预测其未来变化趋势的一种预测技术。
什么时候用应用马尔可夫链的计算方法进行马尔可夫分析，主要目的是根据某些变量现在的情况及其变动趋向，来预测它在未来某特定区间可能产生的变动，作为提供某种决策的依据。
马尔可夫链的基本原理我们知道，要描述某种特定时期的随机现象如某种药品在未来某时期的销售情况，比如说第n季度是畅销还是滞销，用一个随机变量X n便可以了，但要描述未来所有时期的情况，则需要一系列的随机变量X1，X2，…，X n，…．称{ X t，t∈T ，T是参数集}为随机过程，{ X t }的取值集合称为状态空间．若随机过程{ X n }的参数为非负整数， X n 为离散随机变量，且{ X n }具有无后效性（或称马尔可夫性），则称这一随机过程为马尔可夫链（简称马氏链）．所谓无后效性，直观地说，就是如果把{ X n }的参数n看作时间的话，那么它在将来取什么值只与它现在的取值有关，而与过去取什么值无关．对具有N 个状态的马氏链，描述它的概率性质，最重要的是它在n 时刻处于状态i 下一时刻转移到状态j 的一步转移概率：若假定上式与n 无关，即 ====)()1()0(n p p p j i j i j i ，则可记为j i p （此时，称过程是平稳的），并记⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N p p p p p p p p p P212222111211 （1）称为转移概率矩阵．转移概率矩阵具有下述性质：（1）N j i p j i ,,2,1,,0 =≥．即每个元素非负．（2）N i p Nj j i ,,2,1,11 ==∑=．即矩阵每行的元素和等于1．如果我们考虑状态多次转移的情况，则有过程在n 时刻处于状态i ，n +k 时刻转移到状态j 的k 步转移概率：同样由平稳性，上式概率与n 无关，可写成)(k j i p ．记⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（2） 称为k 步转移概率矩阵．其中)(k j i p 具有性质：N j i p k j i ,,2,1,,0)( =≥； N i p Nj k j i ,,2,1,11)( ==∑=．一般地有，若P 为一步转移矩阵，则k 步转移矩阵⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=)()(2)(1)(2)(22)(21)(1)(12)(11)(k N N k N k N k N k k k N k k k p p p p p p p p p P（3）（2）状态转移概率的估算在马尔可夫预测方法中，系统状态的转移概率的估算非常重要．估算的方法通常有两种：一是主观概率法，它是根据人们长期积累的经验以及对预测事件的了解，对事件发生的可能性大小的一种主观估计，这种方法一般是在缺乏历史统计资料或资料不全的情况下使用．二是统计估算法，现通过实例介绍如下．例3 记录了某抗病毒药的6年24个季度的销售情况，得到表1．试求其销售状态的转移概率矩阵．表1 某抗病毒药24个季度的销售情况季度销售状态季度销售状态季度销售状态季度销售状态11 (畅销)71(畅销)131(畅销)192(滞销)21(畅销)81(畅销)141(畅销)201(畅销)32(滞销)91(畅销)152(滞销)212(滞销)41(畅销)102(滞销)162(滞销)221(畅销)52(滞销)111(畅销)171(畅销)231(畅销)62(滞销)122(滞销)181(畅销)241(畅销)分析表中的数据，其中有15个季度畅销，9个季度滞销，连续出现畅销和由畅销转入滞销以及由滞销转入畅销的次数均为7，连续滞销的次数为2．由此，可得到下面的市场状态转移情况表（表2）．表2 市场状态转移情况表现计算转移概率．以频率代替概率，可得连续畅销的概率：分母中的数为15减1是因为第24季度是畅销，无后续记录，需减1．同样得由畅销转入滞销的概率：滞销转入畅销的概率：连续滞销的概率：综上，得销售状态转移概率矩阵为：从上面的计算过程知，所求转移概率矩阵P的元素其实可以直接通过表2中的数字计算而得到，即将表中数分别除以该数所在行的数字和便可：Matlab程序：format ratclca=[ 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1];for i=1:2for j=1:2f(i,j)=length(findstr([i j],a));endendfni=(sum(f'))'for i=1:2p(i,:)=f(i,:)/ni(i);endp由此，推广到一般情况，我们得到估计转移概率的方法：假定系统有m种状态S1，S2，…，Sm，根据系统的状态转移的历史记录，得到表3的统计表格，以j ipˆ表示系统从状态i转移到状态j的转移概率估计值，则由表3的数据计算估计值的公式如下：表3 系统状态转移情况表（3）带利润的马氏链在马氏链模型中，随着时间的推移，系统的状态可能发生转移，这种转移常常会引起某种经济指标的变化．如抗病毒药的销售状态有畅销和滞销两种，在时间变化过程中，有时呈连续畅销或连续滞销，有时由畅销转为滞销或由滞销转为畅销，每次转移不是盈利就是亏本．假定连续畅销时盈r 11元，连续滞销时亏本r 22元，由畅销转为滞销盈利r 12元，由滞销转为畅销盈利r 21元，这种随着系统的状态转移，赋予一定利润的马氏链，称为有利润的马氏链．对于一般的具有转移矩阵的马氏链，当系统由i 转移到j 时，赋予利润r ij （i ，j =1，2，…，N ），则称⎪⎪⎪⎪⎪⎭⎫⎝⎛=N N N N N N r r r r r r r r r R212222111211 （5） 为系统的利润矩阵，r ij ＞0称为盈利，r ij ＜0称为亏本，r ij = 0称为不亏不盈．随着时间的变化，系统的状态不断地转移，从而可得到一系列利润，由于状态的转移是随机的，因而一系列的利润是随机变量，其概率关系由马氏链的转移概率决定．例如从抗病毒药的销售状态的转移矩阵，得到一步利润随机变量)1(1x 、)1(2x 的概率分布分别为：r 12r 21r 22概 率p 12 概 率 p 21 p 22其中 p 11+ p 12 = 1 ，p 21+ p 22 = 1．如果药品处于畅销阶段，即销售状态为i =1，我们想知道，经过n 个季度以后，期望获得的利润是多少为此，引入一些计算公式．首先，定义)(n i v 为抗病毒药现在处于)2,1(=i i ，经过n 步转移之后的总期望利润，则一步转移的期望利润为：其中)()1(i x E 是随机变量)1(i x 的数学期望．二步转移的期望利润为：其中随机变量)2(i x （称为二步利润随机变量）的分布为：例如，若⎪⎪⎭⎫ ⎝⎛=6.04.05.05.0P ， ⎪⎪⎭⎫ ⎝⎛-=7339R则抗病毒药销售的一步利润随机变量：抗病毒药畅销和滞销时的一步转移的期望利润分别为： 二步利润随机变量为：抗病毒药畅销和滞销时的二步转移的期望利润分别为：一般地定义k 步转移利润随机变量),2,1()(N i x k i =的分布为： 则系统处于状态i 经过k 步转移后所得的期望利润)(k i v 的递推计算式为：∑∑∑=-=-=+=+=Nj j i k j i Nj j i k j N j j i j i p v v p v p r 1)1()1(1)1(1（6）当k =1时，规定边界条件0)0(=i v ．称一步转移的期望利润为即时的期望利润，并记N i q v i i ,2,1,)1(==．可能的应用题型题型一、市场占有率预测例题1在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，预测A 、B 、C 三个厂家生产的某种抗病毒药在未来的市场占有情况。
顾客订货情况如下表5：表5 顾客订货情况表下季度订货情况合计来 自AB CA 160 120 120 400B 180 90 30 300 C180 30 90 300 合计5202402401000模型建立与求解一、问题分析目前的市场占有情况为：在购买该药的总共1000家对象（购买力相当的医院、药店等）中，买A 、B 、C 三药厂的各有400家、300家、300家，那么A 、B 、C 三药厂目前的市场占有份额分别为：40%、30%、30%．称（，，）为目前市场的占有分布或称初始分布．此外，我们需要查清使用对象的流动情况。
流动情况的调查可通过发放信息调查表来了解顾客以往的资料或将来的购买意向，也可从下一时期的订货单得出。
由题已知顾客订货情况如下表5表5 顾客订货情况表下季度订货情况合计来 自AB CA 160 120 120 400B 180 90 30 300 C180 30 90 300 合计5202402401000二、模型的建立 模型构建假定在未来的时期内，顾客相同间隔时间的流动情况不因时期的不同而发生变化，以1、2、3分别表示顾客买A 、B 、C 三厂家的药这三个状态，以季度为模型的步长（即转移一步所需的时间），那么根据表5，我们可以得模型的转移概率矩阵：矩阵中的第一行（，，）表示目前是A 厂的顾客下季度有40%仍买A 厂的药，转为买B 厂和C 厂的各有30%．同样，第二行、第三行分别表示目前是B 厂和C 厂的顾客下季度的流向．由P 我们可以计算任意的k 步转移矩阵，如三步转移矩阵：从这个矩阵的各行可知三个季度以后各厂家顾客的流动情况．如从第二行（，，）知，B 厂的顾客三个季度后有%转向买A 厂的药，%仍买B 厂的，%转向买C 厂的药．设),,()(3)(2)(1)(k k k k p p p S =表示预测对象k 季度以后的市场占有率，初始分布则为),,()0(3)0(2)0(1)0(p p p S =，市场占有率的预测模型为P S P S S k k k ⋅=⋅=-)1()0()( （7）已知)3.0,3.0,4.0()0(=S ，由此，我们可预测任意时期A 、B 、C 三厂家的市场占有率．例如，三个季度以后的预测值为：大致上，A 厂占有一半的市场，B 厂、C 厂各占四分之一．模型（7）可推广到N 个状态的情形：kN N N N N N Nkk k p p p p p p p p p pp p P SP SS⎪⎪⎪⎪⎪⎭⎫⎝⎛===-212222111211)0()0(2)0(1)0()1()(),,(（8） 如果我们按公式（7）继续逐步求A 、B 、C 三家的市场占有率，会发现，当k 大到一定的程度，S (k ) 将不会有多少改变，即有稳定的市场占有率，设其稳定值为),,(321p p p S =，满足1321=++p p p ．事实上，如果市场的顾客流动趋向长期稳定下去，则经过一段时期以后的市场占有率将会出现稳定的平衡状态，即顾客的流动，不会影响市场的占有率，而且这种占有率与初始分布无关．如何求出这种稳定的市场占有率呢模型求解以A 、B 、C 三家的情况为例，当市场出现平衡状态时，从公式（7）可得方程S = S P ，即 由此得经整理，并加上条件1321=++p p p ，得 ， ,上方程组是三个变量四个方程的方程组，在前三个方程中只有二个是独立的，任意删去一个，从剩下的三个方程中，可求出唯一解：5.01=p ， 25.02=p ， 25.03=p这就是A 、B 、C 三家的最终市场占有率．一般N 个状态的稳定市场占有率（稳态概率）),,(21N p p p S =可通过解方程组⎪⎪⎪⎩⎪⎪⎪⎨⎧=⎪⎪⎪⎪⎪⎭⎫⎝⎛=∑=1),,(),,(12122221112112121Nk k N N N N N N NN p p p p p p p p p p pp p p p p（9） 求得，而（9）的前N 个方程中只有N -1个是独立的，可任意删去一个。
