(完整)应用随机过程学习总结,推荐文档.doc

应用随机过程学习总结

一、 预备知识：概率论

随机过程属于概率论的动态部分， 即随机变量随时间不断发展变化的过程， 它以概率论作为主要的基础知识。

1、 概率空间方面，主要掌握 sigma 代数和可测空间，在随机过程中由总体样本空间所构成的集合族。符号解释： sup 表示上确界， inf 表示下确界。

本帖隐藏的内容

2、 数字特征、 矩母函数与特征函数：随机变量完全由其概率分布来描述。 其中由于概率分布较难确定， 因此通常计算随机变量的数字特征来估算分布总体， 而矩母函数和特征函数便用于随机变量的 N 阶矩计算，同时唯一的决定概率分布。

3、 独立性和条件期望：独立随机变量和的分布通常由卷积来表示，对于同 为分布函数的两个函数， 卷积可以交换顺序， 同时满足结合律和分配率。 条件期

望中，最重要的是理解并记忆 E(X) = E[E(X|Y)] = intergral(E(X|Y=y))dFY(y) 。

二、 随机过程基本概念和类型

随机过程是概率空间上的一族随机变量。 因为研究随机过程主要是研究其统计规律性，由 Kolmogorov 定理可知，随机过程的有限维分布族是随机过程概率特征的完整描述。同样，随机过程的有限维分布也通过某些数值特征来描述。

1、 平稳过程，通常研究宽平稳过程：如果 X(t1) 和 X(t2) 的自协方差函数

r(t1,t2)=r(0,t-s) 均成立，即随机过程 X(t) 的协方差函数 r(t,s) 只与时间差

t-s 有关， r(t) = r(-t) 记为宽平稳随机过程。

因为一条随机序列仅仅是随机过程的一次观察， 那么遍历性问题便是希望将随即过程的均值和自协方差从这一条样本路径中估计出来， 因此宽平稳序列只需满足其均值遍历性原理和协方差遍历性原理即可。

2、 独立增量过程：若 X[Tn] – X[T(n-1)] 对任意 n 均相互独立，则称 X(t) 是独立增量过程。 若独立增量过程的特征函数具有可乘性， 则其必为平稳增量过程。

兼有独立增量和平稳增量的过程称为平稳独立增量过程，

其均值函数一定是时间

t 的线性函数。

3、 随机过程的分类不是绝对的。例如，泊松过程既具有独立增量又有平稳

增量，既是连续时间的马尔科夫链，又是一类特殊的更新过程。参数为 lambda 的泊松过程减去其均值函数同时还是一个鞅。

三、 泊松过程

计数过程｛ N(t), t>=0 ｝是参数为 λ 的泊松过程（λ > 0），具有平稳独立增量

性。而其任意时间长度 t 发生的次数服从均值为 λ* t 的泊松分布，即 E[N(t)]=

λ* t 。

1、 与泊松过程有关的若干分布： Xn 表示第 n 次与第 n-1 次事件发生的时间间隔，定义 Tn 表示第 n 次事件发生的时刻，规定 T0= 0。其中，

Xn 服从参数为 λ 的指数分布，且相互独立。泊松过程在任何时候都是重新开始。

Tn 服从参数为 n 和 λ 的 Γ 分布

四、 更新过程

更新过程 {N(t),t>=0} 中 Xn 仍保持独立同分布性， 但分布任意，不再局限于指数

分布。更新过程中事件发生一次叫做一次更新，此时 Xn 就是第 n-1 次和第 n 次

更新相距的时间， Tn 是第 n 次更新发生的时刻，而 N(t) 就是 t 时刻之前发生的

总的更新次数。

由强大数定理可知， 无穷多次更新只可能在无限长的时间内发生。 因此，有限长

时间内最多只能发生有限次更新。

1、 更新函数：更新理论中大部分内容都是有关 E[N(t)] 的性质。以 M(t) 记

为 E[N(t)] ，称为更新函数。此时， M(t) 是关于 t 的函数而不是随机变量。

2、 更 新方程：若 H(t) ， F(t) 为已知，且当 t<0 时， H(t) 与 F(t) 均为 0，

同时当 H(t) 在任何区间上有界时，称具有如下形式的方程 K(t) = H(t) +

intergral(K(t-s)*dF(s)) 的方程称为更新方程。当 H(t) 为有界函数时，更新方

程存在唯一的有限区间内的有界的解 K(t) = H(t) + intergral(H(t-s)*dM(s))。

3、 更新定理： Feller 初等定理、 Blackwell 更新定理、关键更新定理。其

中 Blackwell 定理指出，在远离原点的某长度为 a 的区间内，更新次数的期望是

a/u ， u = E(Xn) 。同时， Smith 关键更新定理与 Blackwell 定理等价。

五、 马尔科夫链

科夫 中的 移概率 条件概率， 同 定 去的状 X0，⋯，Xn-1 和 在的状 Xn，将来的状

Xn+1的条件分布与 去的状 独立， 只依 于 在 的状 。其中， Pij = P{Xn+1=j | Xn=i} 科夫 的一步 移概率，它代表 于状 i 的 程下一步 移到状 j 的概率。

当 移概率 Pij 只与状 i ，j 有关而与 n 无关 ，称 科夫 ，同 当状 有限 ， 称 有限 。

移概率矩 中概率非 ， 同 随机矩 中每一行的元素和 1。

Pij(n) n 步 移概率， 它指系 从状 而 中 n-1

步 移 的状 无要求。 方程公式。

i n 步后 移到状 j 的概率， n 步 移概率和 移矩 ，有 C-K

1. 状 的分 和性 ：如果状 i n 步 移后到达 j 的概率大于0，称状 i 可达状 j 。若同 状

j 可达状 i ， 称 i 与 j 互通，两两互通的状 有 性。我 将互通的各个状 一 ，自己和自己互通，当一个 科夫 中只有一 称 不可 ，否 是可 。

如果状 i 可以 n 步回到 i 状 ， 将所有 n 的最大公 数 状 i 的周期，即 d(i) ，如果

d>1， 称 i 是周期的，如果 d=1 非周期，空集 无 大。同属于一 的两状 周期相同。

状 i 出 n 步后首次到达 j 的概率 Fij(n) ， 所有可能 n 的概率 Fij(n)

加起来的和 Fij 。若 Fij=1 ，i 常返状 ， Fij< 1，i 非常返状 或瞬

状 。 于常返状 i ， Ui 从 i 第一次回到 i 的期望步 ，若 Ui 有限，称

i 正常返状 ，若 于无 大， 零常返状 。若 正常返状 i 同 是

非周期的， 称之 遍 状 。若遍 状 且 Fii(1)=1 ， 称 吸收状 ，此Ui=1。

于同属于一 的状 i ， j ，他 同 常返状 或非常返状 ，并且当他 是常返状 ，又同 正常返状 或零常返状 。 状 i 至 j 的 n 步 移概率与首 达概率 存在一定关系。同 若 i 与 j 互通且 i 常返状 ， Fji = 1 。

2. 极限定理及平 分布： 科夫 的极限情况即状 i 无 多

步 移后到达 i 的概率是多少。有 ，若状 i 是周期 d 的常返状 ， Pii(nd) = d/Ui ，即

无 多步后回到 i 的概率 常数，上述定理 Pij 也有效。同 ，不可 的有限 科夫 是正常返的。

若 于 科夫 Pj = P(Xn = j) = sum(Pi*Pij) ， 概率分布 Pj 平 分

布。因 此 ， 于任意 Xn 均有相同的分布。同 ， 于遍 的 科夫 ，极限分布就是平 分布并且 是 唯一的平 分布。极限分布即 很 后，无 最开始状 如何， 最 达到某一状 的概率。 若 于遍 的 科夫 ，概率是 定的 于常数。

3. 科夫 、 Kolmogorov 微分方程

六、 鞅

鞅 的定 是从条件期望出 ，如果每次 博的 机会是均等的，并且 博策

略依 于前面的 博 果， 博是“公平的”。 因此，任何 博者都不可能通 改 博 策略将公平的 博 成有利于的 博。如果将“鞅”描述的是“公平”的 博，下鞅和上鞅分 描述了“有利” 博与“不利” 博。

随机 程｛ Sn, n>=0 ｝称 Fn=sigma{X0,X1, ⋯,Xn} 适 的，如果 任意 Sn 是 Fn

可 的，即 Sn 可以表示 X0,X1,X2, ⋯,Xn 的函数

n>=0，

1. 鞅的停 定理：任意随机函数 T 是关于 {Xn，n>=0}的停 ，即{T=n}

由 n 刻及其之前的信息完全确定，而不需要也无法借助将来的情况， 同 T 必 是一个停 。同 ，{T<=n} 和{T>=n} 也由 n 刻及其之前的信息完全确定。 若 T 和 S 是两个停 ， T+S， min{T,S} 和 max{T,S} 也是停 。

在一直 Fn 完全信息的前提下， 有界停 的期望 本与初始 本相同。 特 的，当完全信息未知 ，有界停 的期望 本与初始 本的期望相同。

2. 鞅的一致可 性：如果 任意 ε>0，存在 δ>0，使得 任意 A，

当 P(A)

3. 鞅的收 定理：在很一般的情况下，鞅｛ Mn｝会收 到一个随机 量。即 于｛ Mn, n>=0｝是关于｛ Xn, n>=0｝的鞅，并且存在常数 C有限，使得 E(|Mn|)

近于无 大 ，｛ Mn｝收 到一个随机 量Mx。只有当 Mn 一致可 ，才有 E(Mx)=E(M0)。

4. 鞅：停 定理，收 定理。

七、 布朗运

若 B(0)=0 ，{B(t),t>=0} 有平 独立增量， 每个 t>0 ，B(t) 服从正 分布 N(0,

t) 称之 准布朗运 。布朗运 的二次 差 [B,B](t) = t。

布 朗运 是 足以下三点性 的随即 程，即 于 B(t)-B(s) ~ N(0,t-s) ，

B(t)-B(s) 服从均 0，方差 t-s 的正 分布。当 s=0 ，B(t)-B(0)~N(0,t) 。

并且， 任意 0& lt;=s

同 ， B(t)(t>=0) 是 t 的 函 数。由于布朗运 在有限 分布是空 平移不

的空 次性，只需研究始于 0 的布朗运 即可。

1. 高斯 程：有限 分布是多元正 分布的随机 程。 布朗运 是一

种特殊的高斯 程，即 B(t) 的任何有限 分布都是正 的。