随机过程的基本概念和基本类型

随机过程知识点汇总随机过程是指一组随机变量{X(t)}，其中t属于某个集合T，每个随机变量X(t)都与一个时刻t相关联。

２．随机过程的分类随机过程可以分为离散时间随机过程和连续时间随机过程。

离散时间随机过程是指在离散的时间点上取值的随机过程，例如随机游走。

连续时间随机过程是指在连续的时间区间上取值的随机过程，例如XXX运动。

３．随机过程的数字特征随机过程的数字特征包括均值函数和自相关函数。

均值函数E[X(t)]描述了随机过程在不同时刻的平均取值。

自相关函数R(t1,t2)描述了随机过程在不同时刻的相关程度。

４．平稳随机过程平稳随机过程是指其均值函数和自相关函数都不随时间变化而变化的随机过程。

弱平稳随机过程的自相关函数只与时间差有关，而不依赖于具体的时间点。

强平稳随机过程的概率分布在时间上是不变的。

５．高斯随机过程高斯随机过程是指其任意有限个随机变量的线性组合都服从正态分布的随机过程。

高斯随机过程的均值函数和自相关函数可以唯一确定该过程。

６．马尔可夫随机过程马尔可夫随机过程是指其在给定当前状态下，未来状态的条件概率分布只依赖于当前状态，而与过去状态无关的随机过程。

马尔可夫性质可以用转移概率矩阵描述，并且可以用马尔可夫链来建模。

７．泊松过程泊松过程是指在一个时间段内随机事件发生的次数服从泊松分布的随机过程。

泊松过程的重要性质是独立增量和平稳增量。

８．随机过程的应用随机过程在金融学、信号处理、通信工程、控制理论等领域有广泛的应用。

例如，布朗运动被广泛应用于金融学中的期权定价，马尔可夫链被应用于自然语言处理中的语言模型。

t)|^2]协方差函数BZs,t)E[(ZsmZs))(ZtmZt))]，其中Zs和Zt是Z在时刻s和t的取值。

复随机过程是由实部和虚部构成的随机过程，其均值和方差函数分别由实部和虚部的均值和方差函数计算得到。

协方差函数和相关函数也可以类似地计算得到。

复随机过程在通信系统中有广泛的应用，例如调制解调、信道编解码等。

高等数学中的随机过程相关知识点详解近年来，随机过程被越来越多的人所关注和使用。

作为高等数学的一个分支，随机过程具有广泛的应用领域，包括金融、医学、生物学等等。

在本文中，将详细解析高等数学中的随机过程相关知识点，帮助读者更好地理解和应用这一领域的知识。

一、概率论基础在进行随机过程的学习之前，我们需要了解一些概率论的基础知识。

概率论是确定不确定性的一种科学方法，它研究的是随机事件的发生规律和概率计算方法。

在概率论中，有一些基本概念和公式，包括概率、条件概率、概率分布、随机变量等等。

1.1 概率概率是指一个事件发生的可能性大小。

通常用P来表示，它的取值范围是0到1。

当P=0时，表示这个事件不可能发生；当P=1时，表示这个事件一定会发生。

例如，掷一枚硬币正面朝上的概率为1/2，或者说P=0.5。

1.2 条件概率条件概率是指在已知某些条件下，某个事件发生的概率。

通常用P(A|B)来表示，表示在B发生的情况下，A发生的概率。

例如，从一副牌中摸两张牌，第一张是红桃，第二张是黑桃的概率为P(第二张是黑桃|第一张是红桃)=26/51。

1.3 概率分布概率分布是指所有可能事件发生的概率分布，它是概率论的基础。

在不同的情况下，概率分布也是不同的。

例如，在离散型随机变量中，概率分布通常以概率质量函数的形式给出；而在连续性随机变量中，概率分布通常以概率密度函数的形式给出。

1.4 随机变量随机变量是一种随机事件的数学描述。

它通常用大写字母表示，如X、Y、Z等等。

根据其取值的类型，随机变量可以分为离散型和连续型。

离散型随机变量只能取到有限或可数个值，如掷硬币、扔骰子等等；而连续型随机变量可以取到任意实数值，如身高、体重等等。

二、随机过程的基本概念2.1 随机过程的定义随机过程是一种描述随机事件随时间变化的方法。

它可以看作是有限维随机变量序列的无限集合，其中每个随机变量代表系统在某个时刻的状态。

随机过程的定义包括两个方面：空间（状态集合）和时间（时刻集合）。

随机过程的基本概念和分类随机过程是一种随时间和其他随机变量而变化的数学对象，是概率论和统计学中的重要概念。

它被广泛应用于自然科学、工程学、经济学、金融学和社会科学等领域。

本文将介绍随机过程的基本概念和分类，帮助读者更好地理解随机过程的本质和应用。

1. 随机过程的基本概念随机过程是由一组随机变量组成的序列或函数，它表示在一定随机环境下某个系统或现象的发展过程。

在随机过程中，时间通常是一个自变量，而随机变量则是随时间变化的函数或序列。

根据定义域的不同，随机过程可以分为离散时间和连续时间两种类型。

离散时间的随机过程是在离散时间点上的序列，例如投骰子的过程。

连续时间的随机过程是在连续时间上的函数，例如天气的变化。

在通常情况下，连续时间的随机过程被认为是一个时间的连续函数，而离散时间的随机过程则表示为时间的离散序列。

随机过程可以用概率分布函数来表达。

对于连续时间的随机过程，它的概率分布函数是一个满足概率公理的函数。

对于离散时间的随机过程，概率分布可以用概率质量函数来描述。

概率分布函数可以通过研究随机过程的瞬时状态来推导。

随机过程的瞬时状态指位置和方向的一切资料，包括当前位置、速度和加速度等。

2. 随机过程的分类随机过程可以按照多种方式进行分类。

以下是一些常见的分类方式。

2.1 马尔可夫过程马尔可夫过程是一种随机过程，它的状态转移只与它的当前状态有关，而与过去状态和未来状态无关。

马尔可夫过程被广泛应用于物理、经济、金融和信号处理等领域。

根据定义域的不同，马尔可夫过程可以分为离散时间和连续时间两种类型。

离散时间的马尔可夫过程可以用转移矩阵来描述，而连续时间的马尔可夫过程则可以用转移概率密度函数来描述。

2.2 平稳过程平稳过程是指在不同时间段内，随机过程的统计分布不随时间而改变的随机过程。

这意味着它的瞬时状态空间必须一致，并且在不同的时间点上具有相同的概率分布。

平稳过程的例子包括白噪声、布朗运动和马尔可夫过程等。

第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别,0表示男,1表示女,X n 表示第n 次登记的数字,得到一个序列X 1 , X 2 , ···,记为{X n ,n=1,2, ···},则X n 是随机变量,而{X n ,n=1,2, ···}是随机过程; 例2：在地震预报中,若每半年统计一次发生在某区域的地震的最大震级;令X n 表示第n 次统计所得的值,则X n 是随机变量;为了预测该区域未来地震的强度,我们就要研究随机过程{X n ,n=1,2, ···}的统计规律性; 例3：一个醉汉在路上行走,以概率p 前进一步,以概率1-p 后退一步假设步长相同;以Xt 记他t 时刻在路上的位置,则{Xt, t ≥0}就是直线上的随机游动;例4：乘客到火车站买票,当所有售票窗口都在忙碌时,来到的乘客就要排队等候;乘客的到来和每个乘客所需的服务时间都是随机的,所以如果用Xt 表示t 时刻的队长,用Yt 表示t 时刻到来的顾客所需等待的时间,则{Xt, t ∈T}和{Yt, t ∈T}都是随机过程;定义：设给定参数集合T,若对每个t ∈T, Xt 是概率空间),,(P ℑΩ上的随机变量,则称{Xt, t ∈T}为随机过程,其中T 为指标集或参数集;E X t →Ω:)(ω,E 称为状态空间,即Xt 的所有可能状态构成的集合;例1：E 为{0,1} 例2：E 为0, 10例3：E 为},2,2,1,1,0{ -- 例4：E 都为),0[∞+注：1根据状态空间E 的不同,过程可分为连续状态和离散状态,例1,例3为离散状态,其他为连续状态;2参数集T 通常代表时间,当T 取R, R +, a,b 时,称{Xt, t ∈T}为连续参数的随机过程；当T 取Z, Z +时,称{Xt, t ∈T}为离散参数的随机过程;3例1为离散状态离散参数的随机过程,例2为连续状态离散参数的随机过程,例3为离散状态连续参数的随机过程,例4为连续状态连续参数的随机过程;二、有限维分布与Kolmogorov 定理随机过程的一维分布：})({),(x t X P x t F ≤= 随机过程的二维分布：T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21随机过程的n 维分布：T t t t x t X x t X x t X P x x x F n n n n t t t n ∈≤≤≤= ,,},)(,)(,)({),,(21221121,,211、有限维分布族：随机过程的所有一维分布,二维分布,…n 维分布等的全体}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 称为{Xt, t ∈T}的有限维分布族;2、有限维分布族的性质：1对称性：对1,2,…n 的任一排列),,(21n j j j ,有),,(),,(21,,,,212121n t t t j j j t t t x x x F x x x F n n nj j j=2相容性：对于m<n,有),(),,(1,1,,111m t t m t t t t x x F x x F m n m m =∞∞+3、Kolmogorov 定理定理：设分布函数族}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 满足上述的对称性和相容性,则必存在一个随机过程{Xt,t ∈T},使}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 恰好是{Xt, t ∈T}的有限维分布族;定义：设{Xt, t ∈T}是一随机过程：（1） 称Xt 的期望)]([)(t X E t X =μ如果存在为过程的均值函数;（2） 如果T t ∈∀,)]([2t X E 存在,则称随机过程{Xt, t ∈T}为二阶矩过程;此时,称函数))]()())(()([(),(221121t t X t t X E t t X X μμγ--=,T t t ∈21,为过程的协方差函数；称),()]([t t t X Var γ=为过程的方差函数；称T t s t X s X E t s R X ∈=,)],()([),(为自相关函数;例：)()(0b t a tV X t X ≤≤+=,其中0X 和V 是相互独立的且均服从N0,1分布的随机变量,求)(t X μ和),(21t t γ;三、随机过程的基本类型独立增量过程：如果对任意,,,,21T t t t n ∈⋅⋅⋅,21n t t t <⋅⋅⋅<<随机变量,)()(12⋅⋅⋅-t X t X)()(1--n n t X t X 是相互独立的,则称{Xt, t ∈T}是独立增量过程;平稳增量过程：如果对任意21,t t ,有Xt 1+h-Xt 1d Xt 2+h-Xt 2,则称{Xt, t ∈T}是平稳增量过程;平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程,例如Poisson 过程和Brownian motionPoisson 过程 2.1 Poisson 过程1. 计数过程定义：随机过程}0),({≥t t N 称为计数过程,如果)(t N 表示从0到t 时刻某一特定事件A 发生的次数,它具备以下两个特点： 10)(≥t N 且取值为整数；2t s <时,)()(t N s N ≤且)()(s N t N -表示],(t s 时间内事件A 发生的次数; 2. Poisson 过程定义2.1.1：计数过程}0),({≥t t N 称为参数为λ0>λ的Poisson 过程,如果1;0)0(=N2过程具有独立增量性；3在任一长度为t 的时间区间中事件发生的次数服从均值为t λ的Poisson 分布,即对一切0,0>≥t s ,有 () ,1,0,!))()((===-+-n n t en s N s t N P n tλλ注：Poisson 过程具有平稳增量性因为)()(s N s t N -+的分布只依赖于t, 与区间起点s 无关,,0=s 令() ,1,0,!)n )((===-n n t et N P n tλλt t EN t m λ==∴)()(于是可认为λ是单位时间内发生的事件的平均次数,一般称λ是Poisson 过程的强度; 例2.1.1：Poisson 过程在排队论中的应用研究随机服务系统中的排队现象时,经常用到Poisson 过程模型;例如：到达电话总机的呼叫数目,到达某服务设施商场、车站、购票处等的顾客数,都可以用Poisson 过程来描述;以某火车站售票处为例,设从早上8:00开始,此售票处连续售票,乘客以10人/小时的平均速率到达,则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少10:00-11:00没有人来买票的概率是多少解：我们用一个Poisson 过程来描述,设8:00为时刻0,则9:00为时刻1,参数10=λ,于是!10}5)1()2({510n eN N P n n ∑=-=≤-, 10010!010}0)2()3({--===-e e N N P 例2.1.2：事故发生次数及保险公司接到的索赔数若以)(t N 表示某公路交叉口、矿山、工厂等场所在],0(t 时间内发生不幸事故的数目,则Poisson 过程就是}0),({≥t t N 的一种很好近似;例如,保险公司接到赔偿请求的次数设一次事故导致一次索赔,向315台的投诉设商品出现质量问题为事故等都是可以用Poisson 过程的模型;我们考虑一种最简单的情形,设保险公司每次的赔付都是1,每月平均接到索赔要求4次,则一年中它要付出的金额平均为多少解：设一年开始时刻为0,1月末为时刻1,…年末为时刻12,则有124!)124(})0()12({⨯-⨯==-e n n N N P n∑∞=⨯-⨯⋅=-0124!)124()]0()12([n n e n n N N E =48问题：为什么实际中有这么多现象可以用Poisson 过程来反映呢{}{}{}).(2)(0h )iv ( );(1)(0h ,0)iii ( )ii ( ;0)()i ( 0),(2.1.2h o h N P h o h h N P t N Poisson t t N =≥↓+==↓>=≥时，当时，当存在过程有平稳独立增量过程，如果满足：称为：计数过程定义λλ定理2.1.1：定义1和定义2是等价的;例2.1.3：事件A 的发生形成强度为λ的Poisson 过程}0),({≥t t N ,如果每次事件发生时以概率p 能够被记录下来,并以Mt 表示到时刻t 被记录下来的事件总数,则}0),(M {≥t t 是一个强度为p λ的Poisson 过程;例2.1.4：若每条蚕的产卵数服从Poisson 分布,强度为λ,而每个卵变为成虫的概率为p,且每个卵是否变为成虫彼此间没有关系,求在时间0, t 内每条蚕养活k 只小蚕的概率;2.2 与Poisson 过程相联系的若干分布设n T 表示第n 次事件发生的时刻,n=1,2,…,规定00=T ;n X 表示第n 次与第n-1次事件发生的间隔时间,n=1,2,…; 1. 关于n X 和n T 的分布定理2.2.1：n X n=1,2,…服从参数为λ的指数分布,且相互独立; 定理2.2.2：n T n=1,2,…服从参数为n 和λ的Γ分布;注：如果每次事件发生的时间间隔,....,21X X 相互独立,且服从同一参数为λ的指数分布,则计数过程}0),({≥t t N 是参数为λ的Poisson 过程;例2.2.1：设从早上8:00开始有无穷多的人排队等候服务,只有一名服务员,且每个人接受服务的时间是独立的并服从均值为20min 的指数分布,则到中午12:00为止平均有多少人已经离去,已有9个人接受服务的概率是多少例2.2.2：假设某天文台观测到的流星流是一个Poisson 过程,根据以往资料统计为每小时平均观察到3颗流星;试求：上午8:00-12:00期间,该天文台没有观察到流星的概率;2. 事件发生时刻的条件分布 对于t s ≤,有ts t N s T P ==≤}1)(|{1 现在考虑2≥n 的情况：定理2.2.1：在已知n t N =)(的条件下,事件发生的n 个时刻,,21T T n T 的联合分布密度是nn t n t t t f !),,(21=, n t t t <<<210 例2.2.3：乘客按照强度为λ的Poisson 过程来到某火车站,火车在时刻t 启程,计算在],0(t 内到达的乘客等待时间的总和的期望值;即要求])([)(1∑=-t N i iT t E ,其中iT 是第i 个乘客来到的时刻;2.3 Poisson 过程的推广1. 非齐次Poisson 过程定义2.3.1：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,如果{}{}).(2)()t ()iv ( );()(1)()t ()iii ( }0),({)ii ( ;0)()i ( h o t N h N P h o h t t N h N P t t N t N ==≥-++==-+≥=λ具有独立增量等价定义：定义2.3.2：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,若1;0)0(=N2}0),({≥t t N 具有独立增量性； 3即任意实数0,0>≥s t ,)()(t N s t N -+为具有参数du u t m s t m st t⎰+=-+)()()(λ的Poisson 分布,称ds s t m t ⎰=0)()(λ为非齐次Poisson 过程的均值函数或累积强度函数;定理2.3.1：设}0),({≥t t N 是一个强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程;对任意的0≥t ,令)),(()(*1t m N t N -= 则)}(*{t N 是一个强度为1的Poisson 过程;例2.3.1：设某设备的使用期限为10年,在前5年内它平均2.5年需要维修一次,后5年平均2年需维修一次;试求它在试用期内只维修过一次的概率;2． 复合Poisson 过程定义2.3.3：称随机过程}0),({≥t t X 为复合Poisson 过程,如果对于0≥t ,它可以表示为：∑==)(1)(t N i iYt X ,其中}0),({≥t t N 是一个Poisson 过程,},2,1,{ =i Y i 是一族独立 同分布的随机变量,并且与}0),({≥t t N 独立;注：复合Poisson 过程不一定是计数过程;例2.3.2：保险公司接到的索赔次数服从一个Poisson 过程}0),({≥t t N ,每次要求赔付的金额i Y 都相互独立,且有相同分布F,每次的索赔数额与它发生的时刻无关,则],0[t 时间内保险公司需要赔付的总金额}0),({≥t t X 就是一个复合Poisson 过程,其中∑==)(1)(t N i iYt X ;例2.3.3：设顾客到达某服务系统的时刻 ,,21S S ,形成一强度为λ的Poisson 过程,在每个时刻),2,1( =n S n ,可以同时有多名顾客到达;n Y 表示在时刻n S 到达的顾客人数,假定),2,1( =n Y n 相互独立,并且与{n S }也独立,则在],0[t 时间内到达服务系统的顾客总人数可用一复合Poisson 过程来描述;例2.3.4：假定顾客按照参数为λ的Poisson 过程进人一个商店,又假设各顾客所花的钱数形成一族独立同分布的随机变量;以)(t X 记到时间t 为止顾客在此商店所花费的总值,易见}0),({≥t t X 是一个复合Poisson 过程;定理2.3.2：设{∑==)(1)(t N i iYt X ,0≥t }是一复合Poisson 过程,Poisson 过程}0),({≥t t N 的强度为λ,则1)(t X 有独立增量；2若+∞<][2i Y E ,则 ][)]([1Y tE t X E λ=,][)]([21Y tE t X Var λ=例2.3.5：在保险中的索赔模型中,设索赔要求以Poisson 过程到达保险公司,速率为平均每月两次;每次索赔服从均值为10000元的正态分布,则一年中保险公司平均的赔付额是多少例2.3.6：设顾客以每分钟6人的平均速率进入某商场,这一过程可用用Poisson 过程来描述;又该进入该商场的每位顾客买东西的概率为0.9,且每位顾客是否买东西互不影响,也与进入该商场的顾客数无关;求一天12小时在该商场买东西的顾客数的均值;3．条件Poisson 过程定义 2.3.4：设随机变量0>Λ,在λ=Λ的条件下,计数过程}0),({≥t t N 是参数为λ的Poisson 过程,则称}0),({≥t t N 为条件Poisson 过程;定理2.3.3：设}0),({≥t t N 是条件Poisson 过程,且∞<Λ][2E ,则 1][)]([Λ=tE t N E ；2][][)]([2Λ+Λ=tE Var t t N Var例2.3.7：设意外事故的发生频率受某种未知因素影响有两种可能21,λλ,且,)(1p P ==Λλq p P =-==Λ1)(2λ,10<<p 为已知;已知到时刻t 已发生了n 次事故;求下一次事故在t+s 之前不会到来的概率;另外,这个发生频率为1λ的概率是多少第三章 Markov 链3.1 基本概念定义3.1.1：随机过程}2,1,0,{ =n X n 称为Markov 链,若它只取有限或可列个值常用非负整数集{ 2,1,0}来表示,并且对任意的0≥n ,及任意状态110,,,,-n i i i j i ,有},,,|{11001i X i X i X j X P n n n n ====--+ =}|{1i X j X P n n ==+,其中i X n =表示过程在时刻n 处于状态i ,称{ 2,1,0}为该过程的状态空间,记为E . 上式刻画了Markov 链的特性,称为Markov 性;定义3.1.2：称条件概率}|{1i X j X P n n ==+为Markov 链}2,1,0,{ =n X n 的一步转移概率,简称转移概率,记为ij p ,它代表处于状态i 的过程下一步转移到状态j 的概率; 定义3.1.3：当Markov 链的转移概率ij p =}|{1i X j X P n n ==+只与状态j i ,有关,而与n 无关时,称之为时齐Markov 链；否则,就称之为非时齐的;注：我们只讨论时齐Markov 链,简称Markov 链;定义3.1.4：当Markov 链的状态为有限时,称为有限链,否则称为无限连;但无论状态有限还是无限,我们都可以将ij p E j i ∈,排成一个矩阵的形式,令P=ij p =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡222120121110020100p p p p p p p p p 为转移概率矩阵,简称转移矩阵;容易看出ij p E j i ∈,具有性质：10≥ij p ,E j i ∈,； 2∑∈Ej ijp=1,E i ∈∀;例3.1.1：考虑一个包含三个状态的模型,若个体健康,认为他处于状态1S ,若他患病,认为他处于状态2S ,若他死亡,认为他处于状态3S ,易见这是一个Markov 链,转移矩阵为P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10232221131211p p p p p p例3.1.2：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;这个系统的转移矩阵为P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000001 p q p q例3.1.3：带反射壁的随机游动设上例中当赌博者输光时将获得赞助1继续赌下去,就如同一个在直线上做随机游动的球在到达左侧0点处立刻反弹回一样,这就是一个一侧带有反射壁的随机游动,此时转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000010 p q p q例3.1.4：自由随机游动设一个球在全直线上做无限制的随机游动,它的状态为0, ,2,1±±,它是一个Markov 链,转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡p q p q p q p q 000000000000000000000000练习：设有一只蚂蚁在图上爬行,当两个节点相邻时,蚂蚁将爬向它邻近的一点,并且爬向任何一个邻近节点的概率是相同的,求转移矩阵;2． n 步转移概率, C-K 方程定义 3.1.5：称条件概率}|{)(i X j X P p m n m n ij===+,1,0;,≥≥∈n m E j i 为Markov链的n 步转移概率,相应地称)()()(n ij n p P =为n 步转移矩阵;规定：⎩⎨⎧=≠=j i ji p ij 10)0( 问题：)(n ijp 和ij p 是什么关系定理3.1.1：Chapman-Kolmogorov 方程,简称C-K 方程 对一切E j i n ∈≥,,0m ,有1)()()(n kjm Ek ikn m ijp p p ∑∈+=2n n n n P P P P P P P ==⋅⋅=⋅=-- )2()1()( 证明：例3.1.5：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;设21,3===q p n ,赌博者从2元赌金开始赌博,求他经过4次赌博之后输光的概率;例 3.1.6：甲乙两人进行某种比赛,设每局甲胜的概率是p;乙胜的概率是q,和局的概率是r,1r q p =++;设每局比赛后,胜者记“+1”分,负者记“-1”分,和局不计分,且当两人中有一人获得2分时比赛结束;以n X 表示比赛至第n 局时甲获得的分数,则},2,1,0,{ =n X n 为时齐Markov 链,求甲获得1分的情况下,不超过两局可结束比赛的概率;例3.1.7：质点在数轴上的点集}2,1,0,1,2{--上做随机游动,质点到达点-2后,以概率1停留在原处；到达点2后,以概率1向左移动一点；到达其他点后,分别以概率31向左、右移动一点,以概率31停留在原处;试求在已知该质点处于状态0的条件下,经3步转移后仍处于状态0的概率;例3.1.8：广告效益的推算某种啤酒A 的广告改变了广告方式,经调查发现买A 种啤酒及另外三种啤酒B, C,D 的顾客每两个月的平均转换率如下设市场中只有这四种啤酒：)50.0()10.0()20.0()20.0()00.0()70.0()10.0()20.0()04.0()06.0()60.0()30.0()01.0()02.0()02.0()95.0(D C B A D D C B A C D C B A B D C B A A →→→→假设目前购买A,B, C,D 四种啤酒的顾客的分布为25%,30%,35%,10%,试求半年后啤酒A 的市场份额;3.2 状态的分类及性质定义3.2.1：若存在0≥n 使得0)(>n ij p ,称状态i 可达状态),(E j i j ∈,记为j i →;若同时有i j →,则称i 与j 互通,记为j i ↔;定理3.2.1：互通是一种等价关系,即满足： （1） 自反性：i i ↔； （2） 对称性：j i ↔,则i j ↔ （3） 传递性：j i ↔,k j ↔,则k i ↔ 证明：定义3.2.2：把任何两个互通状态归为一类,若Markov 链只存在一个类,就称它是不可约的；否则称为可约的;例3.2.1：在例3.1.1中考三个状态：健康状态1S ,患病状态2S ,死亡状态3S ,可分为几个类定义3.2.3：若集合}0,1:{)(>≥n iip n n 非空,则称它的最大公约数)(i d d =为状态i 的周期;若1>d ,称i 是周期的;若1=d ,称i 是非周期的;规定,上述集合为空集时,称i 的周期为无穷大;注：1虽然i 有周期d 但并不是对所有的n,)(nd ii p 都大于0;请举出反例：2虽然i 有周期d 但可能0)(=d iip ,举出反例：定理3.2.2：若状态j i ,同属一类,则)()(j d i d =; 证明：定义3.2.4：对于任何状态j i ,,以)(n ijf 记从i 出发经n 步后首次到达j 的概率,则有1},|1,2,1,,{0)()0(≥=-=≠===n i X n k j X j X P f f k n n ijijij δ令∑∞==1)(n n ijij f f ,如果1=jj f ,称状态j 为常返状态；如果1<jj f ,称状态j 为非常返状态;问题：ij f 的含义是什么定义3.2.4：1对于常返状态i ,定义∑==1)(n n ii i nfμ,可以知道i μ表示的是由i 出发再返回到i 所需的平均步数时间;2对于常返状态i ,若+∞<i μ,则称i 为正常返状态；若+∞=i μ,则称i 为零常返状态;3若i 为正常返状态,且是非周期的,则称之为遍历状态;若i 是遍历状态,且1)1(=ii f ,则称i 为吸收状态,此时显然1=i μ;例3.2.3：设Markov 链的状态空间为}4,3,2,1{=E ,其一步转移概率矩阵为：⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=0210210323100001002121P 试将状态进行分类;定理3.2.3：状态i 为常返的当且仅当∞=∑=0)(n n iip；状态i 为非常返状态时,有iin n ii f p -=∑∞=11)(;引理3.2.1：对任意状态j i ,及+∞<≤n 1,有)(1)()(l n jj l l ij n ijp f p-∞=∑=;引理3.2.2：若j i ↔且i 为常返状态,则1=ji f ;定理3.2.4：常返性是一个类性质;例3.2.4：设Markov 链的状态空间为},2,1,0{ =E ,转移概率为E i p p p i i i ∈===+,21,21,2101,00,考虑各个状态的性质;3.3 极限定理与平稳分布3.3.1 极限定理例3.3.1 ： 设Markov 链的转移矩阵为⎥⎦⎤⎢⎣⎡--=q q p pP 11,0<p,q<1 试求： )(lim n n P∞→例3.3.2：在例3.2.5中令p =31,求)2(00lim n n P ∞→ 若令p =21 ,求)2(00lim n n P ∞→定理3.3.1：1若状态i 是周期为d 的常返状态,则 0,lim )(=∞==∞→ii ind iin ddP μμμ时，当,2若状态i 是非常返状态时,则0lim )(=∞→n iin P推论3.3.1：设i 是常返状态,则i 是零常返状态⇔ 0lim )(=∞→n iin P定理3.3.2：1若j 是非常返状态或零常返状态,则对0lim )(=∈∀∞→n ijn P E i 有2若j 为正常返状态且周期为d,则,lim ,,)(jnd iin dP E i j i μ=∈↔∀∞→有推论3.3.2： 对E j i ∈∀,, 有⎪⎩⎪⎨⎧=∑=∞→为正常返状态状态为非常返状态或零常返j d j P n jnk k ij n μ01lim1)(推论3.3.3：有限状态的Markov 链,不可能全为非常返状态,也不可能有零常返状态,从而不可约的有限Markov 链是正常返的;推论3.3.4：若Markov 链有一个零常返状态,则必有无限个零常返状态;例3.3.3：设Markov 链的状态空间为E ={1, 2 ,3,4, 5},转移矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=21021210210002100210001000001P试确定常返状态,非常返状态,并对常返状态i 确定其平均回转时间i μ;3.3.2 平稳分布与极限分布定义3.3.1：对于Markov 链,概率分布{}E j p j ∈,称为平稳分布,若∑∈=Ei ji ij pp p ,问题：为什么称之为平稳分布定义3.3.2：1称Markov 链是遍历的,如果所有状态相通且均是周期为1的正常返状态; 2对于遍历的Markov 链,极限E j P E i j n ijn ∈=∈∀∞→,lim )(π有 称为Markov 链的极限分布;注：j jμπ1=定理3.3.3 对于不可约非周期的Markov 链： 1若它是遍历的,则)(,0lim )(E j P n ijn j ∈>=∞→π是平稳分布且是唯一的平稳分布;2若状态都是非常返的或全为零常返的,则平稳分布不存在;例3.3.4：设Markov 链的转移矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=5.05.005.005.005.05.0P 求极限分布;例3.3.5：设有6个车站,车站中间的公路连接情况如下图所示：汽车每天可以从一个车站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动;设每天凌晨汽车开往邻近的任何一个车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定;求出这个比例以便正确地设置各站的服务规模;例3.3.6 设甲袋中有k 个白球和1个黑球,乙袋中有k+1个白球,每次从两袋中各任取一球,交换后放入对方的袋中;证明经过n 次交换后,黑球仍在甲袋中的概率n P 满足21lim =∞→n n P例3.3.7 我国某种商品在国外的销售情况共有连续24个季度的数据其中1表示畅销,2表示滞销：1,1,2,1, 2,2,1,1,1,2,1,2,1,1,2,2,1,1,2,1,2,1,1,1 如果该商品销售情况近似满足时齐次与Markov 性： （1） 试确定销售状态的一步转移概率矩阵;（2） 如果现在是畅销,试预测这之后的第四个季度的销售状况; （3） 如果影响销售的所有因素不变,试预测长期的销售状况;3.4 Markov 链的应用群体消失模型分枝过程：考虑一个能产生同类后代的个体组成的群体,每一个体生命结束时以概率)2,1,0( =j p j 产生了j 个新的后代,与别的个体产生的后代的个数相互独立;初始个体数以0X 表示,称为第零代的总数；第零代的后代构成第一代,其总数记为1X ,第一代的每个个体以同样的分布产生第二代,……,一般地,以n X 记第n 代的总数;此Markov 链{} 2,1,0,1==n X n称为分枝过程;假设10=X ,则有∑∞=-=1,1i in n ZX其中i n Z ,1-表示第n-1代的第i 个成员的后代的个数; 考虑以下几个问题：1[]=n X E 2∑∞==0i iipμ 的意义3}{0群体消亡P =π定理3.4.1： 11,1000≤⇔=<<μπ则设p3.5连续时间Markov 链3.5.1 连续时间Markov 链定义 3.5.1：过程}0),({≥t t X 的状态空间E 为离散空间,若对一切0,≥t s 及E j i ∈,有})(|)({}0),()(,)(|)({i s X j s t X P s u u x u X i s X j s t X P ==+=<≤===+成立,则称}0),({≥t t X 是一个连续时间Markov 链;转移概率 })(|)({),(i s X j s t X P t s p ij ==+= 转移概率矩阵 ()),(),(t s p t s P ij =定义3.5.2：称连续时间Markov 链是时齐的,若),(t s p ij 与s 无关;简记)(),(t p t s p ij ij =,相应地记 ())()(t p t P ij =定理3.5.1：设}0),({≥t t X 是连续时间Markov 链,假定在时刻0过程刚刚到达)(E i i ∈;以i τ记过程在离开i 之前在i 停留的时间,则i τ服从指数分布;说明：构造连续时间Markov 链的方法1在转移到下一个状态之前处于状态i 的时间服从参数为i μ的指数分布; 2在过程离开状态i 时,将以概率ij p 到达j,且1=∑∈Ej ijp定义3.5.3 称一个连续时间Markov 链是正则的,若以概率1在任意有限长的时间内转移的次数是有限的;例3.5.1Poisson 过程参数为λ的Poisson 过程}0),({≥t t N ,取值为},2,1,0{⋅⋅⋅;由第2章可知,它在任意一个状态i 停留的时间服从指数分布,并且在离开i 时以概率1转移到i+1,由Poisson 过程的独立增量性看出它在i 停留的时间与状态的转移是独立的,从而Poisson 过程是时齐的连续时间Markov 链;例3.5.2Yule 过程考察生物群体繁殖过程的模型;设群体中各个生物体的繁殖是相互独立的,强度为λ的Poisson 过程,并且群体中没有死亡,此过程称为Yule 过程,此过程是一个连续时间Markov 链;例3.5.3生灭过程仍然考虑一个生物群体的繁殖模型;每个个体生育后代如例3.5.2的假定,但是每个个体将以指数速率μ死亡,这是一个生灭过程;例3.5.4M/M/S 排队系统顾客的来到是参数为λ的Poisson 过程;服务人员数为s 个,每个顾客接受服务的时间服从参数为μ的指数分布;遵循先来先服务,若服务员没有空闲时间就排队的原则;以)(t X 记t 时刻系统中的总人数,则}0),({≥t t X 是一个生灭过程来到看作出生,离去看作死亡,来到率是服从参数为λ的Poisson 过程,离去过程的参数会发生变化,以n μ记系统中有n 个顾客时的离去率,则sn sn s n n ><≤⎩⎨⎧=1μμμ3.5.2 Kolmogorov 微分方程定理3.5.2：时齐连续时间Markov 链的转移概率)(t p ij 满足：10)(≥t p ij 2∑∈=Ej ijt p1)(3 ∑∈=+Ek kj ikij s p t ps t p )()()( — 连续时间Markov 链的C-K 方程;证明 ：定理3.5.3 +∞≤=-→ii ii t q tt p )(1lim)1(0+∞<=→ij ij t q tt p )(lim)2(0推论3.5.1：对有限状态时齐的连续时间Markov 链,有+∞<=∑≠ij ijii qq注：对于无限状态的情况,一般只能得到 ∑≠≥ij ijii qq定理3.5.4 kolmogorov 微分方程对一切 0,,≥∈t E j i 且+∞<=∑≠ii ij ijq q,有1向后方程)()()('t p q t p qt p ij ii ik kj ikij -=∑≠2在适当的正则条件下,有向前方程)()()(t p q t p qt p ij jj ik ik kjij-='∑≠例3.5.5：讨论Poisson 过程的微分方程及转移概率;例3.5.6：类似Poisson 过程,给出Yule 过程}0),({≥t t X 的转移概率;例3.5.7：讨论生灭过程的微分方程;第三章练习题1、设今日有雨明日也有雨的概率为0.7,今日无雨明日有雨的概率为0.5;求星期一有雨,星期三也有雨的概率;2、设Markov 链的状态空间为E={1,2,3,4,5,6},其一步转移概率矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=012100210000010004141041410002102100021210P 试确定状态的周期,常返性,并给此Markov 链分类;3、若1,1<<jj ii f f ,证明：1∑∞=+∞<1)(n n ijp2∑∑∞=∞=+=1)(1)(1n n jj n n ijij p pf4、 将两个红球、四个白球分别放入甲乙两个盒子中;每次从两个盒子中各取一球交换,以n X 记第n 次交换后甲盒中的红球数;1试说明},1,0,{⋅⋅⋅=n X n 是一个Markov 链并求转移矩阵P 2试证明},1,0,{⋅⋅⋅=n X n 是遍历的; 3求它的极限分布;5、对于Yule 过程计算群体总数从1增长到N 的平均时间;6、考虑有两个状态的连续时间Markov 链,状态为0和1,链在离开0到达1之前在状态0停留的时间服从参数为λ的指数分布,相应地在1停留的时间是参数为μ的指数变量;对此建立kolmogorov 微分方程,并求其解;第四章 更新过程4.1 更新过程的定义及若干分布4.1.1 更新过程的定义事件发生的时间间隔21,X X ···是独立同分布的非负随机变量,这样得到的计数过程}0),({≥t t N 叫做更新过程,其数学表达式如下：定义4.1.1：设{n X ,n=1,2,···}是一列独立同分布的非负随机变量,分布函数为Fx ﹙设F0=P{X n =0}≠1,记][n X E =μ=⎰∞)(x xdF ,则0＜μ≤+∞﹚;令∑==ni i n X T 1,n ≥1,T 0=0;我们把由}:sup{)(t T n t N n ≤=定义的计数过程称为更新过程;例子：机器零件的更换;在时刻0,安装上一个新零件并开始运行,设此零件在T 1时刻损坏,马上用一个新的来替换假设替换不需要时间,则第二个零件在T 1时刻开始运行,设它在T 2时刻损坏,同样马上换第三个······,很自然可以认为这些零件的使用寿命是独立同分布的,那么到t 时刻为止所更换的零件数目就构成一个更新过程;说明：1在更新过程中事件发生一次叫做一次更新,X n 表示第n-1次和第n 次更新的间隔时间,T n 是第n 次更新发生的时刻,Nt 就是t 时刻之前发生的总的更新次数;2Poisson 过程是更新过程;4.1.2 Nt 的分布及ENt 的一些性质问题一：在有限时间0,t 内是否会发生无穷多次更新,即Nt= ∞问题二：求Nt 的分布 P{Nt=n}问题三：以Mt记ENt,求MtMt叫做更新函数;注：Mt是t的不减函数,且对0≤t＜∞,Mt＜+∞,j=1,2···},在每个时刻独立地做Bernoulli 例4.1.1：考虑一个时间离散的更新过程{Nj试验,设成功的概率为p,失败的概率为q=1-p;以试验成功作为事件更新,求此过程的更新函数Mk;4.2 更新方程定义 4.2.1： 若)(t M 的导数存在,则其导数)(t M '称为更新密度,记为)(t m ;由)(t M =∑∞=1)(n nt F 知 mt=∑∞='1))((n nt F =∑∞=1)(n nt f;其中)(t f n 是)(t F n 的密度函数; 定理4.2.1：)(t M 和)(t m 分别满足积分方程 ⎰-+=ts dF s t M t F t M 0)()()()(⎰-+=t ds s f s t m t f t m 0)()()()(其中)()(t F t f '=;定义4.2.2: 更新方程称如下形式的积分方程为更新方程 ⎰-+=ts dF s t K t H t K 0)()()()(其中)(),(t F t H 为已知,)(t F 为分布函数,且当t 〈0时,)(),(t F t H 均为0; 定理4.2.2：设更新方程中)(t H 为有界函数,则方程存在唯一的在有限区间内有界的解 ⎰-+=ts dM s t H t H t K 0)()()()(其中)(t M 是)(t F 的更新函数;例4.2.1：Wald 等式设∞<][i X E i=1,2···,证明：]1)([][][][11)(211)(+=+++=++t N E X E X X X E T E t N t N4.3 更新定理定理4.3.1 Feller 初等更新定理记][n X E =μ,则)(1)(∞→→t t t M μ;若01,=∞=μμ;定义4.3.1格点分布：若存在0≥d ,使得∑∞===01}{n nd X P ,则称随机变量X 服从格点分布;同时称满足上述条件的最大的d 为此格点分布的周期;定理4.3.2 Blackwell 更新定理 记][n X E =μ(1) 若F 不是格点分布,则对一切0≥a ,当∞→t 时,有μat M a t M →-+)()(;(2) 若F 是格点分布,周期为d ,则当∞→n 时,有μdnd P →}{处发生更新在;定理4.3.3 关键更新定理记][n X E =μ,设函数),0[),(∞∈t t h 满足：1)(t h 非负不增；2⎰∞)(dt t h ＜∞; )(t H 是更新方程⎰-+=tx dF x t H t h t H 0)()()()(的解,那么(1) 若F 不是格点分布,有⎪⎩⎪⎨⎧∞=∞<=⎰∞∞→μμμ0)(1)(lim 0dxx h t H t(2) 若F 是格点分布,对于d c <≤0,有⎪⎩⎪⎨⎧∞=∞<+=+∑∞=∞→μμμ0)()(lim 1n n nd c h d nd c H例4.3.1：某控制器用1节电池供电,设电池寿命i X i =1,2,……服从均值为45小时的正态分布,电池失效时需要去仓库领取,领取新电池的时间i Y i =1,2,……服从期望为0.5小时的均匀分布;求长时间工作时,控制器更换电池的速率;。

数学中的随机过程一、引言在数学领域中，随机过程是研究随机事件随时间的演变规律的数学模型。

它既具有随机性，又具有确定性，广泛应用于概率论、统计学和其他相关领域。

本文将介绍随机过程的基本概念、分类及其在现实生活中的应用。

二、随机过程的定义随机过程是一类随机变量的集合，表示随机事件随时间变化的模型。

随机过程通常用X(t)表示，其中t是时间参数，X(t)是在某一时刻t的取值。

随机过程可以分为离散和连续两种类型。

三、离散时间随机过程离散时间随机过程是指在一系列离散时间点上定义的随机变量序列。

常见的离散时间随机过程有伯努利过程、泊松过程等。

1. 伯努利过程伯努利过程是最简单的离散时间随机过程，它是一种只有两个取值的随机过程。

以掷硬币为例，假设正面出现的概率为p，反面出现的概率为1-p，掷硬币的结果序列就是伯努利过程。

2. 泊松过程泊松过程描述了随机事件在时间上的独立出现，并且满足平稳性和无记忆性。

在实际应用中，泊松过程可以用来模拟各种随机事件的发生，如电话呼叫到达、交通事故发生等。

四、连续时间随机过程连续时间随机过程是指在连续时间区间上定义的随机变量。

其中最常见的连续时间随机过程是布朗运动和随机行走。

1. 布朗运动布朗运动是一种连续的、无界变差的随机过程，其特点是随机变量在任意时间间隔上的累积值符合正态分布。

布朗运动经常用来模拟金融市场的波动、温度变化等。

2. 随机行走随机行走是一种描述随机变量在空间上随机移动的随机过程。

它的最简单形式是一维随机行走，即随机变量只能在一维空间上左右移动。

随机行走在金融市场中的应用较广，可以用来模拟股票价格的变化。

五、随机过程的应用随机过程在现实生活中有着广泛的应用，以下两个领域是典型的例子。

1. 通信网络随机过程在通信网络中扮演着重要的角色。

例如，通过对网络中的数据流量建模，可以使用随机过程来优化网络的传输效率和资源分配。

2. 金融领域在金融领域中，随机过程被广泛应用于期权定价、风险管理和投资组合优化等方面。