- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.1 马尔可夫过程
3.1 马尔可夫过程
3.1 马尔可夫过程
转移矩阵
Pij(t)称为从状态i到状态j的转移函数，由转移函数的 全体组成的矩阵称为转移矩阵。如对n个状态系统的转移
矩阵为n×n阶方阵，可写为：
P11 P12 P1n
P P21
P22
P
2n
马尔可夫链的概念及转移概率
p01:在系统内没有顾客的条件下,经Δt后有一顾客进入系统 的概率, p01=q.
p10:系统内恰有一顾客正在接受服务的条件下,经Δt后系统 内无人进入的概率, 等于在Δt间隔内顾客因服务完毕而离去, 且无人进入系统的概率, p10=p(1-q).
p11:系统内恰有一顾客的条件下,在Δt间隔内, 因服务完毕 而离去,而另一顾客进入系统, 或者正在接受服务的顾客将继 续要求服务,且无人进入系统的概率,p11=pq+(1-p)(1-q).
3.2 状态转移图
由此可写出系统的转移矩阵为:
转移矩阵Pij也表示事件ei 发生的条件下，事件ej发生的条件概率：Pij=P(ej|ei) ； 矩阵 P:行是起始状态，由小到大；列是到达状态，由小到大排列，建立P时应与转移 图联系起来。
3.2 状态转移图
例2
对于一可修系统，失效率和修复率λ、μ为常数， 试画出状态转移图：
与始点u 无关，则称该马尔可夫过程是齐次的。
或者，齐次马尔可夫过程
如果马尔可夫过程的转移概率函数或转移概率密度,只与 转移前后的状态及相应的二个时刻的时间差有关，而与二个 时刻无关，即
F(x2 ; t2 | x1 ; t1)= F(x2 | x1 ; t2 -t1) f(x2 ; t2 | x1 ; t1)= f(x2 | x1 ; t2 -t1)
统实际上是不可能的
马尔可夫链的概念及转移概率
再设有无顾客来到与服务是否完毕是相互独立的. 如何用马氏链描述这一服务系统? 设 Xn≡X(nΔt), 表 示 时 间 nΔt 时 系 统 内 的 顾 客 数 。 则 {Xn,n=0,1,2,…} 是 随 机 过 程 , 状 态 空 间 I={0,1,2,3}. 由 于 当 Xn=i,i∈I已知时,Xn+1所处的状态概率分布只与Xn=i有关,而 与时间nΔt以前所处的状态无关,所以该随机过程是一个齐次 马氏链. 怎样计算此马氏链的一步转移概率? 记p00:在系统内没有 顾客的条件下,经Δt后仍无顾客的概率, p00=1-q.
P n1
Pn2
Pnn
性质（2）说明一步转移概率矩阵中任一行元素之和为1. 通常称满足(1)、(2)性质的矩阵为随机矩阵.
3.1 马尔可夫过程
三条假设
a) ，为常数(即寿命和维修时间服从指数分布) b) 部件和系统取正常和故障两种状态。 c) 在相当小的t内，发生两个或两个以上部件同时进行状态转移的概率是t的高
阶无穷小，此概率可以忽略不计。
3.1 马尔可夫过程
3.2 状态转移图
例1 如一台机器，运行到某一时刻t时，可能的状态为：
e1－正常； e2－故障。如机器处于e1状态的概率P11=4/5, 则e1向e2转移的概率P12=1－P11=1/5；反过程，如机器处 于e2状态，经过一定时间的修复返回e1 状态的概率是3/5， P21=3/5( 维 修 度 M()); 则 修 不 好 仍 处 于 e2 状 态 的 概 率 是 P22=1－P21=2/5.
服务规则: 先到先服务,后来者需在等候室依次排队. 假定需要服务的顾客到达系统, 发现系统内已有3个顾客(1
个在接受服务, 2个在等候室排队),则该顾客即离去. 设时间间隔Δt内有一个顾客进入系统的概率为q,有一原来
被服务的顾客离开系统(即服务完毕)的概率为p. 又设当Δt充分小,在时间间隔内多于一个顾客进入或离开系
可靠性工程之可修复系统的可靠 性
第三章 可修复系统的可靠性
3.1 马尔可夫过程 3.2 状态转移图 3.3 n步转移后系统各状态概率 3.4 单部件可修系统 3.5 串联可修系统 3.6 并发生故障后，经过修理可以使系 统恢复至正常工作状态，如下图所示。如果工作时间和修 复时间都服从指数分布，就可以借助马尔可夫过程来描述。
P{x(tn)=in|x(t1)=i1,x(t2)=i2,…,x(tn-1)=in-1} =P{x(tn)=in|x(tn-1)=in-1} i1,i2,…,in∈E
则称{x(t),t≥0}为离散状态空间E上连续时间马尔可夫过程。
3.1 马尔可夫过程
齐次马尔可夫过程
如果对任意t,u≥0,均有 P{x(t+u)=j|x(u)=i}=Pij(t) i,j∈E
称具有这种特性的马尔可夫过程为齐次马尔可夫过程。
3.1 马尔可夫过程
齐次马氏过程的性质
P （ 1）0 1; ij
n
（ 2） Pij 1 j 1
可以证明，对系统寿命以及故障后的修复时间均服 从指数分布时，则系统状态变化的随机过程{x(t),t≥0}是 一个齐次马尔可夫过程。
(2)式中对j求和,是对状态空间I的所有可能状态进行的
3.1 马尔可夫过程
马尔可夫过程定义
马尔可夫过程是一类“后效性”的随机过程。简单 地说，在这种过程中系统将来的状态只与现在的状态 有关，而与过去的状态无关。或者说，若已知系统在t0 时刻所处的状态，那么t> t0时的状态仅与时刻t0的状态 有关。
3.1 马尔可夫过程
马尔可夫过程的数学描述
设{x(t),t≥0}是取值在E={0,1,2,…}或E={0,1,2,…,N}上的 一个随机过程。若对任意n个时刻点0≤t1<t2<…<tn 均有:
e1——正常； e2——故障。
3.2 状态转移图
由此可写出：
此时转移矩阵P也称为微系数矩阵
通常令Δt=1,则有 1
P
1
由此可知，状态转移图是求解(写出)转移矩阵的基础。
随机到达者 等候室 服务台离去者
系统
马尔可夫链的概念及转移概率
例排队模型 设服务系统,由一个服务员和只可能容纳两个人的等候室组成.
