半直线上随机环境中的可逗留随机游动的常返性

半直线上随机游动一个派生链的性质
半直线上随机游动一个派生链具有极强的随机特性，也就是说它是基于随机的无序的派生过程。

这一过程对派生的影响很大，但也可以被有效地控制。

在半直线上随机游动一个派生链中，用户可以控制时间段、递增值、权重以及抽样参数，从而达到预定目的。

此外，这种方法也可以做到控制变量的范围，只要把变量设置在半直线上，即可使变量永远保持住派生过程的均衡态。

另外，这种方法对于抽样有很好的支持，并且能够保证所有子集的抽样都能够保持变量的独立性，让派生出来的数据更加具有质量，而不会产生过拟合或者不利影响。

此外，这种机制还可以用来实现模型的自动化，因为它可以让模型在某种棋子上更快地派生，从而大大提升了模型派生的效率。

总之，半直线上随机游动一个派生链具有多种优点，特别是在模型派生方面。

它能够有效地控制派生的变量，并可以根据时间段、抽样参数以及权重等设置来实现自动化派生，从而大大提升模型派生的效率。

随机漫步法则-回复什么是随机漫步法则？随机漫步法则（Random Walk Theory）是一种数学模型，用于描述一个物体在随机不规则的方向上移动的趋势。

这一概念最早于1900年由法国数学家路易斯·巴舍利耶（Louis Bachelier）提出，后来由肖尔测试（Maurice Kendall）和彼得·斯帕卡（Peter Whittle）等学者进一步发展和应用。

随机漫步法则的基本假设是，物体在每一步中的移动是完全随机的，不受任何外部因素的限制或干扰，且每一步的移动都是独立的。

换句话说，物体在下一步的移动方向和距离与前一步的移动无关，完全由随机因素决定。

因此，随机漫步被认为是一种无记忆性的行为。

随机漫步的应用领域广泛。

在金融领域，随机漫步法则被用来模拟股票市场中的价格波动。

根据随机漫步的理论，股票价格的变动是无法预测的，其未来的走势与过去的走势无关。

在自然科学领域，随机漫步法则被用来解释分子的扩散行为、人口迁移模式等现象。

随机漫步法则有几个基本特征。

首先，随机漫步的路径通常是不规则的，例如，一个随机漫步者在一个广场上可能会呈现一条曲线状的路径。

其次，随机漫步的路径长度可能非常不稳定，有时会是短程的，有时则会是长程的。

最后，随机漫步的路径通常是对称的，也就是说，沿某一特定方向的移动与沿相反方向的移动是等可能发生的。

随机漫步法则也具有一些局限性。

首先，它忽略了物体内部的结构和作用力的影响，只关注移动的随机性。

因此，在某些情况下，随机漫步的模型可能无法准确描述物体的移动。

其次，由于随机漫步是基于概率的，它不能提供确定性的预测，只能给出可能的结果。

虽然随机漫步法则并不能解决一些具体问题，但它在许多领域中被广泛使用，并且具有重要的意义。

它为研究随机过程、模拟和估计提供了理论基础，对于理解和解释一些看似随机的现象是非常有帮助的。

此外，随机漫步法则也为其他更复杂的模型和理论提供了参考和基础。

总结起来，随机漫步法则是一种数学模型，用来描述一个物体在随机的方向上移动的趋势。

随机过程的概念及分类方法随机过程的概念及分类方法随机过程是描述随机现象的数学模型。

它可以看作是一个随机函数，它的输出值依赖于时间和样本空间中的随机变量。

随机过程的研究可追溯到19世纪末20世纪初，当时数学家们开始研究大量的样本统计规律。

随机过程在经济学、物理学、工程学等领域中有着广泛的应用。

随机过程的分类方法主要有以下几种：1. 马氏性质：马氏性质是指在一个随机过程中，给定过去的状态和未来的状态，当前的状态与过去的状态是独立的。

如果一个随机过程满足马氏性质，那么它被称为马氏过程。

常见的马氏过程有马尔可夫链、泊松过程等。

2. 独立增量：独立增量是指在一个随机过程中，任意两个时间点上的增量是独立的。

如果一个随机过程满足独立增量性质，那么它被称为独立增量过程。

常见的独立增量过程有布朗运动和泊松过程。

3. 平稳性：平稳性是指随机过程的统计特性在时间上是不变的。

如果一个随机过程满足平稳性质，那么它被称为平稳过程。

常见的平稳过程有伊索和无记忆过程。

4. 高斯过程：高斯过程是指随机过程中的任意有限个随机变量满足多维高斯分布。

高斯过程在概率论和统计学中有着重要的应用，常见的高斯过程有布朗运动和高斯白噪声过程。

5. 跳跃过程：跳跃过程是指随机过程中存在不连续的跳跃现象。

跳跃过程在金融学和通信工程中有着重要的应用，常见的跳跃过程有泊松过程和利维过程。

除了以上的分类方法，随机过程还可以按照时间的连续性分为连续时间随机过程和离散时间随机过程。

连续时间随机过程是指随机变量的索引集为连续集合，如实数集；离散时间随机过程是指随机变量的索引集为离散集合，如整数集。

另外，在实际应用中，为了更好地描述随机过程的行为，人们还可以使用数学方法对随机过程进行建模。

常见的建模方法有马尔可夫模型、自回归模型、移动平均模型等。

总结起来，随机过程是描述随机现象的数学模型，可以分为马氏过程、独立增量过程、平稳过程、高斯过程和跳跃过程等。

此外，随机过程还可根据时间的连续性分为连续时间随机过程和离散时间随机过程。

随机过程中的马尔可夫过程理论马尔可夫过程理论是随机过程中的一种重要理论，它描述了一类具有马尔可夫性质的随机过程。

在随机过程中，马尔可夫过程是指一个系统在给定当前状态下，其未来状态的概率分布只依赖于当前状态，而与过去的状态无关。

马尔可夫过程在实际应用中具有广泛的应用，尤其在可靠性分析、排队论和金融领域等方面发挥重要作用。

一、马尔可夫过程的基本概念马尔可夫过程由状态空间、转移概率矩阵和初始概率分布三要素构成。

1. 状态空间状态空间是指一个马尔可夫过程中可能出现的所有状态的集合。

通常用S表示，状态空间可以是有限的，也可以是无限的。

2. 转移概率矩阵转移概率矩阵描述了一个当前状态到下一个状态的转移概率。

假设状态空间S有n个状态，转移概率矩阵P的元素P(i, j)表示从状态i转移到状态j的概率。

转移概率矩阵满足非负性和归一性条件，即每个元素都大于等于零，每行元素之和等于1。

3. 初始概率分布初始概率分布是指系统在初始状态下各个状态出现的概率分布。

假设初始状态概率分布为π，其中π(i)表示系统初始状态为i的概率。

二、马尔可夫链马尔可夫过程中的马尔可夫链是指一个没有时间限制的马尔可夫过程，也就是说，它在任意时刻都遵循马尔可夫性质。

马尔可夫链可以是有限的，也可以是无限的。

1. 不可约性不可约性是指一个马尔可夫链中的所有状态都可以通过一系列转移概率到达任何其他状态。

具有不可约性的马尔可夫链被称为不可约马尔可夫链。

2. 遍历性遍历性是指一个不可约马尔可夫链中的任意状态都能在有限步内返回到自身。

具有遍历性的马尔可夫链被称为遍历马尔可夫链。

3. 非周期性非周期性是指一个马尔可夫链中不存在周期性循环。

如果一个状态经过若干步后又返回到自身的最小步数是1，则称该状态为非周期状态。

具有非周期性的马尔可夫链被称为非周期马尔可夫链。

三、马尔可夫过程的稳定性马尔可夫过程的稳定性是指在经过一段时间后，随机过程的状态分布不再发生显著变化。

半直线上随机游动一个派生链的性质
半直线上随机游动一个派生链的性质指的是把一个半直线上的每
一个点当作起始点，引出一个链条，这个链条一般采用递归的思想，
不断地随机发展出新的点，生成新的链条，形成一个派生链。

这种派生链机制常用于机器学习中，它可以用来解决复杂和非线
性的问题。

它具有灵活性和准确性，可以将数据分类归类，并可以从
两个或以上的类中构建模型，从而避免过拟合和欠拟合的问题。

它还
能够消除多变量的干扰，解决复杂的特征选择问题，从而保证过拟合
的训练更好地运行。

此外，它还可以用来分析大量的数据，提取有用的信息，并能快
速有效地得出正确的结论，比如在计算某种情况下的最优解时，可以
使用派生链来搜索最优解，这样就可以更快地求出最优解。

最后，派生链还可以用来检测模式，从而帮助用户对较大的数据
集进行更好地分类和分析，从而挖掘出现有数据中所包含的信息。

总之，半直线上随机游动一个派生链的性质是一种非常有用且灵
活的方法，可以帮助我们快速有效地构建复杂的模型，进行模式分析，并可以在获取最优解的过程中大大提高计算效率，有助于更快更好地
解决复杂的问题。

第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别,0表示男,1表示女,X n 表示第n 次登记的数字,得到一个序列X 1 , X 2 , ···,记为{X n ,n=1,2, ···},则X n 是随机变量,而{X n ,n=1,2, ···}是随机过程; 例2：在地震预报中,若每半年统计一次发生在某区域的地震的最大震级;令X n 表示第n 次统计所得的值,则X n 是随机变量;为了预测该区域未来地震的强度,我们就要研究随机过程{X n ,n=1,2, ···}的统计规律性; 例3：一个醉汉在路上行走,以概率p 前进一步,以概率1-p 后退一步假设步长相同;以Xt 记他t 时刻在路上的位置,则{Xt, t ≥0}就是直线上的随机游动;例4：乘客到火车站买票,当所有售票窗口都在忙碌时,来到的乘客就要排队等候;乘客的到来和每个乘客所需的服务时间都是随机的,所以如果用Xt 表示t 时刻的队长,用Yt 表示t 时刻到来的顾客所需等待的时间,则{Xt, t ∈T}和{Yt, t ∈T}都是随机过程;定义：设给定参数集合T,若对每个t ∈T, Xt 是概率空间),,(P ℑΩ上的随机变量,则称{Xt, t ∈T}为随机过程,其中T 为指标集或参数集;E X t →Ω:)(ω,E 称为状态空间,即Xt 的所有可能状态构成的集合;例1：E 为{0,1} 例2：E 为0, 10例3：E 为},2,2,1,1,0{ -- 例4：E 都为),0[∞+注：1根据状态空间E 的不同,过程可分为连续状态和离散状态,例1,例3为离散状态,其他为连续状态;2参数集T 通常代表时间,当T 取R, R +, a,b 时,称{Xt, t ∈T}为连续参数的随机过程；当T 取Z, Z +时,称{Xt, t ∈T}为离散参数的随机过程;3例1为离散状态离散参数的随机过程,例2为连续状态离散参数的随机过程,例3为离散状态连续参数的随机过程,例4为连续状态连续参数的随机过程;二、有限维分布与Kolmogorov 定理随机过程的一维分布：})({),(x t X P x t F ≤= 随机过程的二维分布：T t t x t X x t X P x x F t t ∈≤≤=21221121,,},)(,)({),(21随机过程的n 维分布：T t t t x t X x t X x t X P x x x F n n n n t t t n ∈≤≤≤= ,,},)(,)(,)({),,(21221121,,211、有限维分布族：随机过程的所有一维分布,二维分布,…n 维分布等的全体}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 称为{Xt, t ∈T}的有限维分布族;2、有限维分布族的性质：1对称性：对1,2,…n 的任一排列),,(21n j j j ,有),,(),,(21,,,,212121n t t t j j j t t t x x x F x x x F n n nj j j=2相容性：对于m<n,有),(),,(1,1,,111m t t m t t t t x x F x x F m n m m =∞∞+3、Kolmogorov 定理定理：设分布函数族}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 满足上述的对称性和相容性,则必存在一个随机过程{Xt,t ∈T},使}1,,,),,,({2121,,21≥∈n T t t t x x x F n n t t t n 恰好是{Xt, t ∈T}的有限维分布族;定义：设{Xt, t ∈T}是一随机过程：（1） 称Xt 的期望)]([)(t X E t X =μ如果存在为过程的均值函数;（2） 如果T t ∈∀,)]([2t X E 存在,则称随机过程{Xt, t ∈T}为二阶矩过程;此时,称函数))]()())(()([(),(221121t t X t t X E t t X X μμγ--=,T t t ∈21,为过程的协方差函数；称),()]([t t t X Var γ=为过程的方差函数；称T t s t X s X E t s R X ∈=,)],()([),(为自相关函数;例：)()(0b t a tV X t X ≤≤+=,其中0X 和V 是相互独立的且均服从N0,1分布的随机变量,求)(t X μ和),(21t t γ;三、随机过程的基本类型独立增量过程：如果对任意,,,,21T t t t n ∈⋅⋅⋅,21n t t t <⋅⋅⋅<<随机变量,)()(12⋅⋅⋅-t X t X)()(1--n n t X t X 是相互独立的,则称{Xt, t ∈T}是独立增量过程;平稳增量过程：如果对任意21,t t ,有Xt 1+h-Xt 1d Xt 2+h-Xt 2,则称{Xt, t ∈T}是平稳增量过程;平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程,例如Poisson 过程和Brownian motionPoisson 过程 2.1 Poisson 过程1. 计数过程定义：随机过程}0),({≥t t N 称为计数过程,如果)(t N 表示从0到t 时刻某一特定事件A 发生的次数,它具备以下两个特点： 10)(≥t N 且取值为整数；2t s <时,)()(t N s N ≤且)()(s N t N -表示],(t s 时间内事件A 发生的次数; 2. Poisson 过程定义2.1.1：计数过程}0),({≥t t N 称为参数为λ0>λ的Poisson 过程,如果1;0)0(=N2过程具有独立增量性；3在任一长度为t 的时间区间中事件发生的次数服从均值为t λ的Poisson 分布,即对一切0,0>≥t s ,有 () ,1,0,!))()((===-+-n n t en s N s t N P n tλλ注：Poisson 过程具有平稳增量性因为)()(s N s t N -+的分布只依赖于t, 与区间起点s 无关,,0=s 令() ,1,0,!)n )((===-n n t et N P n tλλt t EN t m λ==∴)()(于是可认为λ是单位时间内发生的事件的平均次数,一般称λ是Poisson 过程的强度; 例2.1.1：Poisson 过程在排队论中的应用研究随机服务系统中的排队现象时,经常用到Poisson 过程模型;例如：到达电话总机的呼叫数目,到达某服务设施商场、车站、购票处等的顾客数,都可以用Poisson 过程来描述;以某火车站售票处为例,设从早上8:00开始,此售票处连续售票,乘客以10人/小时的平均速率到达,则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少10:00-11:00没有人来买票的概率是多少解：我们用一个Poisson 过程来描述,设8:00为时刻0,则9:00为时刻1,参数10=λ,于是!10}5)1()2({510n eN N P n n ∑=-=≤-, 10010!010}0)2()3({--===-e e N N P 例2.1.2：事故发生次数及保险公司接到的索赔数若以)(t N 表示某公路交叉口、矿山、工厂等场所在],0(t 时间内发生不幸事故的数目,则Poisson 过程就是}0),({≥t t N 的一种很好近似;例如,保险公司接到赔偿请求的次数设一次事故导致一次索赔,向315台的投诉设商品出现质量问题为事故等都是可以用Poisson 过程的模型;我们考虑一种最简单的情形,设保险公司每次的赔付都是1,每月平均接到索赔要求4次,则一年中它要付出的金额平均为多少解：设一年开始时刻为0,1月末为时刻1,…年末为时刻12,则有124!)124(})0()12({⨯-⨯==-e n n N N P n∑∞=⨯-⨯⋅=-0124!)124()]0()12([n n e n n N N E =48问题：为什么实际中有这么多现象可以用Poisson 过程来反映呢{}{}{}).(2)(0h )iv ( );(1)(0h ,0)iii ( )ii ( ;0)()i ( 0),(2.1.2h o h N P h o h h N P t N Poisson t t N =≥↓+==↓>=≥时，当时，当存在过程有平稳独立增量过程，如果满足：称为：计数过程定义λλ定理2.1.1：定义1和定义2是等价的;例2.1.3：事件A 的发生形成强度为λ的Poisson 过程}0),({≥t t N ,如果每次事件发生时以概率p 能够被记录下来,并以Mt 表示到时刻t 被记录下来的事件总数,则}0),(M {≥t t 是一个强度为p λ的Poisson 过程;例2.1.4：若每条蚕的产卵数服从Poisson 分布,强度为λ,而每个卵变为成虫的概率为p,且每个卵是否变为成虫彼此间没有关系,求在时间0, t 内每条蚕养活k 只小蚕的概率;2.2 与Poisson 过程相联系的若干分布设n T 表示第n 次事件发生的时刻,n=1,2,…,规定00=T ;n X 表示第n 次与第n-1次事件发生的间隔时间,n=1,2,…; 1. 关于n X 和n T 的分布定理2.2.1：n X n=1,2,…服从参数为λ的指数分布,且相互独立; 定理2.2.2：n T n=1,2,…服从参数为n 和λ的Γ分布;注：如果每次事件发生的时间间隔,....,21X X 相互独立,且服从同一参数为λ的指数分布,则计数过程}0),({≥t t N 是参数为λ的Poisson 过程;例2.2.1：设从早上8:00开始有无穷多的人排队等候服务,只有一名服务员,且每个人接受服务的时间是独立的并服从均值为20min 的指数分布,则到中午12:00为止平均有多少人已经离去,已有9个人接受服务的概率是多少例2.2.2：假设某天文台观测到的流星流是一个Poisson 过程,根据以往资料统计为每小时平均观察到3颗流星;试求：上午8:00-12:00期间,该天文台没有观察到流星的概率;2. 事件发生时刻的条件分布 对于t s ≤,有ts t N s T P ==≤}1)(|{1 现在考虑2≥n 的情况：定理2.2.1：在已知n t N =)(的条件下,事件发生的n 个时刻,,21T T n T 的联合分布密度是nn t n t t t f !),,(21=, n t t t <<<210 例2.2.3：乘客按照强度为λ的Poisson 过程来到某火车站,火车在时刻t 启程,计算在],0(t 内到达的乘客等待时间的总和的期望值;即要求])([)(1∑=-t N i iT t E ,其中iT 是第i 个乘客来到的时刻;2.3 Poisson 过程的推广1. 非齐次Poisson 过程定义2.3.1：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,如果{}{}).(2)()t ()iv ( );()(1)()t ()iii ( }0),({)ii ( ;0)()i ( h o t N h N P h o h t t N h N P t t N t N ==≥-++==-+≥=λ具有独立增量等价定义：定义2.3.2：计数过程}0),({≥t t N 称作强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程,若1;0)0(=N2}0),({≥t t N 具有独立增量性； 3即任意实数0,0>≥s t ,)()(t N s t N -+为具有参数du u t m s t m st t⎰+=-+)()()(λ的Poisson 分布,称ds s t m t ⎰=0)()(λ为非齐次Poisson 过程的均值函数或累积强度函数;定理2.3.1：设}0),({≥t t N 是一个强度函数为)0(0)(≥>t t λ的非齐次Poisson 过程;对任意的0≥t ,令)),(()(*1t m N t N -= 则)}(*{t N 是一个强度为1的Poisson 过程;例2.3.1：设某设备的使用期限为10年,在前5年内它平均2.5年需要维修一次,后5年平均2年需维修一次;试求它在试用期内只维修过一次的概率;2． 复合Poisson 过程定义2.3.3：称随机过程}0),({≥t t X 为复合Poisson 过程,如果对于0≥t ,它可以表示为：∑==)(1)(t N i iYt X ,其中}0),({≥t t N 是一个Poisson 过程,},2,1,{ =i Y i 是一族独立 同分布的随机变量,并且与}0),({≥t t N 独立;注：复合Poisson 过程不一定是计数过程;例2.3.2：保险公司接到的索赔次数服从一个Poisson 过程}0),({≥t t N ,每次要求赔付的金额i Y 都相互独立,且有相同分布F,每次的索赔数额与它发生的时刻无关,则],0[t 时间内保险公司需要赔付的总金额}0),({≥t t X 就是一个复合Poisson 过程,其中∑==)(1)(t N i iYt X ;例2.3.3：设顾客到达某服务系统的时刻 ,,21S S ,形成一强度为λ的Poisson 过程,在每个时刻),2,1( =n S n ,可以同时有多名顾客到达;n Y 表示在时刻n S 到达的顾客人数,假定),2,1( =n Y n 相互独立,并且与{n S }也独立,则在],0[t 时间内到达服务系统的顾客总人数可用一复合Poisson 过程来描述;例2.3.4：假定顾客按照参数为λ的Poisson 过程进人一个商店,又假设各顾客所花的钱数形成一族独立同分布的随机变量;以)(t X 记到时间t 为止顾客在此商店所花费的总值,易见}0),({≥t t X 是一个复合Poisson 过程;定理2.3.2：设{∑==)(1)(t N i iYt X ,0≥t }是一复合Poisson 过程,Poisson 过程}0),({≥t t N 的强度为λ,则1)(t X 有独立增量；2若+∞<][2i Y E ,则 ][)]([1Y tE t X E λ=,][)]([21Y tE t X Var λ=例2.3.5：在保险中的索赔模型中,设索赔要求以Poisson 过程到达保险公司,速率为平均每月两次;每次索赔服从均值为10000元的正态分布,则一年中保险公司平均的赔付额是多少例2.3.6：设顾客以每分钟6人的平均速率进入某商场,这一过程可用用Poisson 过程来描述;又该进入该商场的每位顾客买东西的概率为0.9,且每位顾客是否买东西互不影响,也与进入该商场的顾客数无关;求一天12小时在该商场买东西的顾客数的均值;3．条件Poisson 过程定义 2.3.4：设随机变量0>Λ,在λ=Λ的条件下,计数过程}0),({≥t t N 是参数为λ的Poisson 过程,则称}0),({≥t t N 为条件Poisson 过程;定理2.3.3：设}0),({≥t t N 是条件Poisson 过程,且∞<Λ][2E ,则 1][)]([Λ=tE t N E ；2][][)]([2Λ+Λ=tE Var t t N Var例2.3.7：设意外事故的发生频率受某种未知因素影响有两种可能21,λλ,且,)(1p P ==Λλq p P =-==Λ1)(2λ,10<<p 为已知;已知到时刻t 已发生了n 次事故;求下一次事故在t+s 之前不会到来的概率;另外,这个发生频率为1λ的概率是多少第三章 Markov 链3.1 基本概念定义3.1.1：随机过程}2,1,0,{ =n X n 称为Markov 链,若它只取有限或可列个值常用非负整数集{ 2,1,0}来表示,并且对任意的0≥n ,及任意状态110,,,,-n i i i j i ,有},,,|{11001i X i X i X j X P n n n n ====--+ =}|{1i X j X P n n ==+,其中i X n =表示过程在时刻n 处于状态i ,称{ 2,1,0}为该过程的状态空间,记为E . 上式刻画了Markov 链的特性,称为Markov 性;定义3.1.2：称条件概率}|{1i X j X P n n ==+为Markov 链}2,1,0,{ =n X n 的一步转移概率,简称转移概率,记为ij p ,它代表处于状态i 的过程下一步转移到状态j 的概率; 定义3.1.3：当Markov 链的转移概率ij p =}|{1i X j X P n n ==+只与状态j i ,有关,而与n 无关时,称之为时齐Markov 链；否则,就称之为非时齐的;注：我们只讨论时齐Markov 链,简称Markov 链;定义3.1.4：当Markov 链的状态为有限时,称为有限链,否则称为无限连;但无论状态有限还是无限,我们都可以将ij p E j i ∈,排成一个矩阵的形式,令P=ij p =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡222120121110020100p p p p p p p p p 为转移概率矩阵,简称转移矩阵;容易看出ij p E j i ∈,具有性质：10≥ij p ,E j i ∈,； 2∑∈Ej ijp=1,E i ∈∀;例3.1.1：考虑一个包含三个状态的模型,若个体健康,认为他处于状态1S ,若他患病,认为他处于状态2S ,若他死亡,认为他处于状态3S ,易见这是一个Markov 链,转移矩阵为P=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡10232221131211p p p p p p例3.1.2：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;这个系统的转移矩阵为P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000001 p q p q例3.1.3：带反射壁的随机游动设上例中当赌博者输光时将获得赞助1继续赌下去,就如同一个在直线上做随机游动的球在到达左侧0点处立刻反弹回一样,这就是一个一侧带有反射壁的随机游动,此时转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡100000000000000000000010 p q p q例3.1.4：自由随机游动设一个球在全直线上做无限制的随机游动,它的状态为0, ,2,1±±,它是一个Markov 链,转移矩阵为：P=⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡p q p q p q p q 000000000000000000000000练习：设有一只蚂蚁在图上爬行,当两个节点相邻时,蚂蚁将爬向它邻近的一点,并且爬向任何一个邻近节点的概率是相同的,求转移矩阵;2． n 步转移概率, C-K 方程定义 3.1.5：称条件概率}|{)(i X j X P p m n m n ij===+,1,0;,≥≥∈n m E j i 为Markov链的n 步转移概率,相应地称)()()(n ij n p P =为n 步转移矩阵;规定：⎩⎨⎧=≠=j i ji p ij 10)0( 问题：)(n ijp 和ij p 是什么关系定理3.1.1：Chapman-Kolmogorov 方程,简称C-K 方程 对一切E j i n ∈≥,,0m ,有1)()()(n kjm Ek ikn m ijp p p ∑∈+=2n n n n P P P P P P P ==⋅⋅=⋅=-- )2()1()( 证明：例3.1.5：赌徒的破产或称带吸收壁的随机游动系统的状态时n ~0,反映赌博者在赌博期间拥有的钱数,当他输光或拥有钱数为n 时,赌博停止,否则他将持续赌博;每次以概率p 赢得1,以概率q=1-p 输掉1;设21,3===q p n ,赌博者从2元赌金开始赌博,求他经过4次赌博之后输光的概率;例 3.1.6：甲乙两人进行某种比赛,设每局甲胜的概率是p;乙胜的概率是q,和局的概率是r,1r q p =++;设每局比赛后,胜者记“+1”分,负者记“-1”分,和局不计分,且当两人中有一人获得2分时比赛结束;以n X 表示比赛至第n 局时甲获得的分数,则},2,1,0,{ =n X n 为时齐Markov 链,求甲获得1分的情况下,不超过两局可结束比赛的概率;例3.1.7：质点在数轴上的点集}2,1,0,1,2{--上做随机游动,质点到达点-2后,以概率1停留在原处；到达点2后,以概率1向左移动一点；到达其他点后,分别以概率31向左、右移动一点,以概率31停留在原处;试求在已知该质点处于状态0的条件下,经3步转移后仍处于状态0的概率;例3.1.8：广告效益的推算某种啤酒A 的广告改变了广告方式,经调查发现买A 种啤酒及另外三种啤酒B, C,D 的顾客每两个月的平均转换率如下设市场中只有这四种啤酒：)50.0()10.0()20.0()20.0()00.0()70.0()10.0()20.0()04.0()06.0()60.0()30.0()01.0()02.0()02.0()95.0(D C B A D D C B A C D C B A B D C B A A →→→→假设目前购买A,B, C,D 四种啤酒的顾客的分布为25%,30%,35%,10%,试求半年后啤酒A 的市场份额;3.2 状态的分类及性质定义3.2.1：若存在0≥n 使得0)(>n ij p ,称状态i 可达状态),(E j i j ∈,记为j i →;若同时有i j →,则称i 与j 互通,记为j i ↔;定理3.2.1：互通是一种等价关系,即满足： （1） 自反性：i i ↔； （2） 对称性：j i ↔,则i j ↔ （3） 传递性：j i ↔,k j ↔,则k i ↔ 证明：定义3.2.2：把任何两个互通状态归为一类,若Markov 链只存在一个类,就称它是不可约的；否则称为可约的;例3.2.1：在例3.1.1中考三个状态：健康状态1S ,患病状态2S ,死亡状态3S ,可分为几个类定义3.2.3：若集合}0,1:{)(>≥n iip n n 非空,则称它的最大公约数)(i d d =为状态i 的周期;若1>d ,称i 是周期的;若1=d ,称i 是非周期的;规定,上述集合为空集时,称i 的周期为无穷大;注：1虽然i 有周期d 但并不是对所有的n,)(nd ii p 都大于0;请举出反例：2虽然i 有周期d 但可能0)(=d iip ,举出反例：定理3.2.2：若状态j i ,同属一类,则)()(j d i d =; 证明：定义3.2.4：对于任何状态j i ,,以)(n ijf 记从i 出发经n 步后首次到达j 的概率,则有1},|1,2,1,,{0)()0(≥=-=≠===n i X n k j X j X P f f k n n ijijij δ令∑∞==1)(n n ijij f f ,如果1=jj f ,称状态j 为常返状态；如果1<jj f ,称状态j 为非常返状态;问题：ij f 的含义是什么定义3.2.4：1对于常返状态i ,定义∑==1)(n n ii i nfμ,可以知道i μ表示的是由i 出发再返回到i 所需的平均步数时间;2对于常返状态i ,若+∞<i μ,则称i 为正常返状态；若+∞=i μ,则称i 为零常返状态;3若i 为正常返状态,且是非周期的,则称之为遍历状态;若i 是遍历状态,且1)1(=ii f ,则称i 为吸收状态,此时显然1=i μ;例3.2.3：设Markov 链的状态空间为}4,3,2,1{=E ,其一步转移概率矩阵为：⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=0210210323100001002121P 试将状态进行分类;定理3.2.3：状态i 为常返的当且仅当∞=∑=0)(n n iip；状态i 为非常返状态时,有iin n ii f p -=∑∞=11)(;引理3.2.1：对任意状态j i ,及+∞<≤n 1,有)(1)()(l n jj l l ij n ijp f p-∞=∑=;引理3.2.2：若j i ↔且i 为常返状态,则1=ji f ;定理3.2.4：常返性是一个类性质;例3.2.4：设Markov 链的状态空间为},2,1,0{ =E ,转移概率为E i p p p i i i ∈===+,21,21,2101,00,考虑各个状态的性质;3.3 极限定理与平稳分布3.3.1 极限定理例3.3.1 ： 设Markov 链的转移矩阵为⎥⎦⎤⎢⎣⎡--=q q p pP 11,0<p,q<1 试求： )(lim n n P∞→例3.3.2：在例3.2.5中令p =31,求)2(00lim n n P ∞→ 若令p =21 ,求)2(00lim n n P ∞→定理3.3.1：1若状态i 是周期为d 的常返状态,则 0,lim )(=∞==∞→ii ind iin ddP μμμ时，当,2若状态i 是非常返状态时,则0lim )(=∞→n iin P推论3.3.1：设i 是常返状态,则i 是零常返状态⇔ 0lim )(=∞→n iin P定理3.3.2：1若j 是非常返状态或零常返状态,则对0lim )(=∈∀∞→n ijn P E i 有2若j 为正常返状态且周期为d,则,lim ,,)(jnd iin dP E i j i μ=∈↔∀∞→有推论3.3.2： 对E j i ∈∀,, 有⎪⎩⎪⎨⎧=∑=∞→为正常返状态状态为非常返状态或零常返j d j P n jnk k ij n μ01lim1)(推论3.3.3：有限状态的Markov 链,不可能全为非常返状态,也不可能有零常返状态,从而不可约的有限Markov 链是正常返的;推论3.3.4：若Markov 链有一个零常返状态,则必有无限个零常返状态;例3.3.3：设Markov 链的状态空间为E ={1, 2 ,3,4, 5},转移矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=21021210210002100210001000001P试确定常返状态,非常返状态,并对常返状态i 确定其平均回转时间i μ;3.3.2 平稳分布与极限分布定义3.3.1：对于Markov 链,概率分布{}E j p j ∈,称为平稳分布,若∑∈=Ei ji ij pp p ,问题：为什么称之为平稳分布定义3.3.2：1称Markov 链是遍历的,如果所有状态相通且均是周期为1的正常返状态; 2对于遍历的Markov 链,极限E j P E i j n ijn ∈=∈∀∞→,lim )(π有 称为Markov 链的极限分布;注：j jμπ1=定理3.3.3 对于不可约非周期的Markov 链： 1若它是遍历的,则)(,0lim )(E j P n ijn j ∈>=∞→π是平稳分布且是唯一的平稳分布;2若状态都是非常返的或全为零常返的,则平稳分布不存在;例3.3.4：设Markov 链的转移矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=5.05.005.005.005.05.0P 求极限分布;例3.3.5：设有6个车站,车站中间的公路连接情况如下图所示：汽车每天可以从一个车站驶向与之直接相邻的车站,并在夜晚到达车站留宿,次日凌晨重复相同的活动;设每天凌晨汽车开往邻近的任何一个车站都是等可能的,试说明很长时间后,各站每晚留宿的汽车比例趋于稳定;求出这个比例以便正确地设置各站的服务规模;例3.3.6 设甲袋中有k 个白球和1个黑球,乙袋中有k+1个白球,每次从两袋中各任取一球,交换后放入对方的袋中;证明经过n 次交换后,黑球仍在甲袋中的概率n P 满足21lim =∞→n n P例3.3.7 我国某种商品在国外的销售情况共有连续24个季度的数据其中1表示畅销,2表示滞销：1,1,2,1, 2,2,1,1,1,2,1,2,1,1,2,2,1,1,2,1,2,1,1,1 如果该商品销售情况近似满足时齐次与Markov 性： （1） 试确定销售状态的一步转移概率矩阵;（2） 如果现在是畅销,试预测这之后的第四个季度的销售状况; （3） 如果影响销售的所有因素不变,试预测长期的销售状况;3.4 Markov 链的应用群体消失模型分枝过程：考虑一个能产生同类后代的个体组成的群体,每一个体生命结束时以概率)2,1,0( =j p j 产生了j 个新的后代,与别的个体产生的后代的个数相互独立;初始个体数以0X 表示,称为第零代的总数；第零代的后代构成第一代,其总数记为1X ,第一代的每个个体以同样的分布产生第二代,……,一般地,以n X 记第n 代的总数;此Markov 链{} 2,1,0,1==n X n称为分枝过程;假设10=X ,则有∑∞=-=1,1i in n ZX其中i n Z ,1-表示第n-1代的第i 个成员的后代的个数; 考虑以下几个问题：1[]=n X E 2∑∞==0i iipμ 的意义3}{0群体消亡P =π定理3.4.1： 11,1000≤⇔=<<μπ则设p3.5连续时间Markov 链3.5.1 连续时间Markov 链定义 3.5.1：过程}0),({≥t t X 的状态空间E 为离散空间,若对一切0,≥t s 及E j i ∈,有})(|)({}0),()(,)(|)({i s X j s t X P s u u x u X i s X j s t X P ==+=<≤===+成立,则称}0),({≥t t X 是一个连续时间Markov 链;转移概率 })(|)({),(i s X j s t X P t s p ij ==+= 转移概率矩阵 ()),(),(t s p t s P ij =定义3.5.2：称连续时间Markov 链是时齐的,若),(t s p ij 与s 无关;简记)(),(t p t s p ij ij =,相应地记 ())()(t p t P ij =定理3.5.1：设}0),({≥t t X 是连续时间Markov 链,假定在时刻0过程刚刚到达)(E i i ∈;以i τ记过程在离开i 之前在i 停留的时间,则i τ服从指数分布;说明：构造连续时间Markov 链的方法1在转移到下一个状态之前处于状态i 的时间服从参数为i μ的指数分布; 2在过程离开状态i 时,将以概率ij p 到达j,且1=∑∈Ej ijp定义3.5.3 称一个连续时间Markov 链是正则的,若以概率1在任意有限长的时间内转移的次数是有限的;例3.5.1Poisson 过程参数为λ的Poisson 过程}0),({≥t t N ,取值为},2,1,0{⋅⋅⋅;由第2章可知,它在任意一个状态i 停留的时间服从指数分布,并且在离开i 时以概率1转移到i+1,由Poisson 过程的独立增量性看出它在i 停留的时间与状态的转移是独立的,从而Poisson 过程是时齐的连续时间Markov 链;例3.5.2Yule 过程考察生物群体繁殖过程的模型;设群体中各个生物体的繁殖是相互独立的,强度为λ的Poisson 过程,并且群体中没有死亡,此过程称为Yule 过程,此过程是一个连续时间Markov 链;例3.5.3生灭过程仍然考虑一个生物群体的繁殖模型;每个个体生育后代如例3.5.2的假定,但是每个个体将以指数速率μ死亡,这是一个生灭过程;例3.5.4M/M/S 排队系统顾客的来到是参数为λ的Poisson 过程;服务人员数为s 个,每个顾客接受服务的时间服从参数为μ的指数分布;遵循先来先服务,若服务员没有空闲时间就排队的原则;以)(t X 记t 时刻系统中的总人数,则}0),({≥t t X 是一个生灭过程来到看作出生,离去看作死亡,来到率是服从参数为λ的Poisson 过程,离去过程的参数会发生变化,以n μ记系统中有n 个顾客时的离去率,则sn sn s n n ><≤⎩⎨⎧=1μμμ3.5.2 Kolmogorov 微分方程定理3.5.2：时齐连续时间Markov 链的转移概率)(t p ij 满足：10)(≥t p ij 2∑∈=Ej ijt p1)(3 ∑∈=+Ek kj ikij s p t ps t p )()()( — 连续时间Markov 链的C-K 方程;证明 ：定理3.5.3 +∞≤=-→ii ii t q tt p )(1lim)1(0+∞<=→ij ij t q tt p )(lim)2(0推论3.5.1：对有限状态时齐的连续时间Markov 链,有+∞<=∑≠ij ijii qq注：对于无限状态的情况,一般只能得到 ∑≠≥ij ijii qq定理3.5.4 kolmogorov 微分方程对一切 0,,≥∈t E j i 且+∞<=∑≠ii ij ijq q,有1向后方程)()()('t p q t p qt p ij ii ik kj ikij -=∑≠2在适当的正则条件下,有向前方程)()()(t p q t p qt p ij jj ik ik kjij-='∑≠例3.5.5：讨论Poisson 过程的微分方程及转移概率;例3.5.6：类似Poisson 过程,给出Yule 过程}0),({≥t t X 的转移概率;例3.5.7：讨论生灭过程的微分方程;第三章练习题1、设今日有雨明日也有雨的概率为0.7,今日无雨明日有雨的概率为0.5;求星期一有雨,星期三也有雨的概率;2、设Markov 链的状态空间为E={1,2,3,4,5,6},其一步转移概率矩阵为⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=012100210000010004141041410002102100021210P 试确定状态的周期,常返性,并给此Markov 链分类;3、若1,1<<jj ii f f ,证明：1∑∞=+∞<1)(n n ijp2∑∑∞=∞=+=1)(1)(1n n jj n n ijij p pf4、 将两个红球、四个白球分别放入甲乙两个盒子中;每次从两个盒子中各取一球交换,以n X 记第n 次交换后甲盒中的红球数;1试说明},1,0,{⋅⋅⋅=n X n 是一个Markov 链并求转移矩阵P 2试证明},1,0,{⋅⋅⋅=n X n 是遍历的; 3求它的极限分布;5、对于Yule 过程计算群体总数从1增长到N 的平均时间;6、考虑有两个状态的连续时间Markov 链,状态为0和1,链在离开0到达1之前在状态0停留的时间服从参数为λ的指数分布,相应地在1停留的时间是参数为μ的指数变量;对此建立kolmogorov 微分方程,并求其解;第四章 更新过程4.1 更新过程的定义及若干分布4.1.1 更新过程的定义事件发生的时间间隔21,X X ···是独立同分布的非负随机变量,这样得到的计数过程}0),({≥t t N 叫做更新过程,其数学表达式如下：定义4.1.1：设{n X ,n=1,2,···}是一列独立同分布的非负随机变量,分布函数为Fx ﹙设F0=P{X n =0}≠1,记][n X E =μ=⎰∞)(x xdF ,则0＜μ≤+∞﹚;令∑==ni i n X T 1,n ≥1,T 0=0;我们把由}:sup{)(t T n t N n ≤=定义的计数过程称为更新过程;例子：机器零件的更换;在时刻0,安装上一个新零件并开始运行,设此零件在T 1时刻损坏,马上用一个新的来替换假设替换不需要时间,则第二个零件在T 1时刻开始运行,设它在T 2时刻损坏,同样马上换第三个······,很自然可以认为这些零件的使用寿命是独立同分布的,那么到t 时刻为止所更换的零件数目就构成一个更新过程;说明：1在更新过程中事件发生一次叫做一次更新,X n 表示第n-1次和第n 次更新的间隔时间,T n 是第n 次更新发生的时刻,Nt 就是t 时刻之前发生的总的更新次数;2Poisson 过程是更新过程;4.1.2 Nt 的分布及ENt 的一些性质问题一：在有限时间0,t 内是否会发生无穷多次更新,即Nt= ∞问题二：求Nt 的分布 P{Nt=n}问题三：以Mt记ENt,求MtMt叫做更新函数;注：Mt是t的不减函数,且对0≤t＜∞,Mt＜+∞,j=1,2···},在每个时刻独立地做Bernoulli 例4.1.1：考虑一个时间离散的更新过程{Nj试验,设成功的概率为p,失败的概率为q=1-p;以试验成功作为事件更新,求此过程的更新函数Mk;4.2 更新方程定义 4.2.1： 若)(t M 的导数存在,则其导数)(t M '称为更新密度,记为)(t m ;由)(t M =∑∞=1)(n nt F 知 mt=∑∞='1))((n nt F =∑∞=1)(n nt f;其中)(t f n 是)(t F n 的密度函数; 定理4.2.1：)(t M 和)(t m 分别满足积分方程 ⎰-+=ts dF s t M t F t M 0)()()()(⎰-+=t ds s f s t m t f t m 0)()()()(其中)()(t F t f '=;定义4.2.2: 更新方程称如下形式的积分方程为更新方程 ⎰-+=ts dF s t K t H t K 0)()()()(其中)(),(t F t H 为已知,)(t F 为分布函数,且当t 〈0时,)(),(t F t H 均为0; 定理4.2.2：设更新方程中)(t H 为有界函数,则方程存在唯一的在有限区间内有界的解 ⎰-+=ts dM s t H t H t K 0)()()()(其中)(t M 是)(t F 的更新函数;例4.2.1：Wald 等式设∞<][i X E i=1,2···,证明：]1)([][][][11)(211)(+=+++=++t N E X E X X X E T E t N t N4.3 更新定理定理4.3.1 Feller 初等更新定理记][n X E =μ,则)(1)(∞→→t t t M μ;若01,=∞=μμ;定义4.3.1格点分布：若存在0≥d ,使得∑∞===01}{n nd X P ,则称随机变量X 服从格点分布;同时称满足上述条件的最大的d 为此格点分布的周期;定理4.3.2 Blackwell 更新定理 记][n X E =μ(1) 若F 不是格点分布,则对一切0≥a ,当∞→t 时,有μat M a t M →-+)()(;(2) 若F 是格点分布,周期为d ,则当∞→n 时,有μdnd P →}{处发生更新在;定理4.3.3 关键更新定理记][n X E =μ,设函数),0[),(∞∈t t h 满足：1)(t h 非负不增；2⎰∞)(dt t h ＜∞; )(t H 是更新方程⎰-+=tx dF x t H t h t H 0)()()()(的解,那么(1) 若F 不是格点分布,有⎪⎩⎪⎨⎧∞=∞<=⎰∞∞→μμμ0)(1)(lim 0dxx h t H t(2) 若F 是格点分布,对于d c <≤0,有⎪⎩⎪⎨⎧∞=∞<+=+∑∞=∞→μμμ0)()(lim 1n n nd c h d nd c H例4.3.1：某控制器用1节电池供电,设电池寿命i X i =1,2,……服从均值为45小时的正态分布,电池失效时需要去仓库领取,领取新电池的时间i Y i =1,2,……服从期望为0.5小时的均匀分布;求长时间工作时,控制器更换电池的速率;。