下载文档原格式
马尔可夫链1.马尔可夫链1・1概述9尔可夫链是时间离散，状态离散，貝冇马尔可夫性的过程定义，马尔可夫饶设仃一个离散时间、离散状态的随机过程{《("),"=0丄2・・・},且飢“)满足条件, +1) = 〃§(0) = /。
，歹⑴=：】,•••§(〃)= /…}=卩{如1)=〃他=订则称这类随机过程是马尔可夫链。
它見有无后效性。
性质1，马尔可夫链的仃限维概率密度可以用转移概率来表示，即P {§(0)=/0疋⑴丸，…=/；,，M W+1) = J}=P {§(" + 1) = 〃§(0) = /0，乳)7,…如)=J }P{e(o)如(T；,…和)丸}=P {4(n +1) = 〃§(刃)=讣P {§(0) = /0，纟⑴= «，••• §00 =・}=P{§(〃 +1) = 〃§(〃)=匚} • P {§(〃) = U / 歟一1)=心}… P^(l) =/1/^O) = /o}.P{^(O) = /o}性质2,马尔可夫链的仃限维条件概率密度可以用转移概率來表示，即P帖⑴= .•••和)=i…，§(" +1) = 〃§(0) = /0 }=P ©0)=砲)#,…的=/…,和 + l)=j}/P帖(0) = i°} =P伽+ 1)=7/刃)=讣P伽)=i n /歟一1)=」}…P帖⑴=h / §(0)丸} • P {§(0)= Q/P {§(0)=i°}=P{§(" +1) = 〃§5) = i”}・P{§(〃) = i… /一1) = <,-!}•••PR ⑴= g0) = i。
}1.2马尔可夫链的一步转移概率定义，马尔可夫链的一步转移概率条件概率P儆k +1)= 〃歹伙)=/}= P“伙)是时刻k马尔可夫链的一步转移概率,它完全描述了马尔可夫链的有限维概率。
高斯分布随机变量及其性质¾ 中心极限定理 ¾ 高斯分布的随机变量¾ N 维高斯随机变量的统计独立特性 ¾ 高斯随机变量的线性变换¾高斯分布的随机变量的条件分布和边缘分布1．引言．中心极限定理给定n 个独立的随机变量,1,2,i x i ="n ，它们的和为：12n x x x x =+++"，x 的均值为12n ηηηη=+++"，方差为222212n σσσσ=+++"，在一定的条件下，当n 趋于无穷时，x 的概率密度函数f(x)趋向于具有相同均值和方差的高斯(正态)分布：22()2()x f x ησ−−≈中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目n 依赖于概率密度函数()i f x 。
2高斯分布的随机变量典型高斯分布的随机变量的概率密度与特征函数的描述。
()f x ξ，{}()()ju jux u E e e f x dx ξξξ∞−∞Φ==∫2.1一元高斯随机变量一元高斯随机变量Ｎ(0,1)，均值为零、方差为1，其概率密度和特征函数：2221)(x ex f −=πξ22)(u eu −=Φξ一元高斯随机变量N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：222)(221)(σμξπσ−−=x ex f222)(u u j eu σμξ−=Φ2.2二元高斯随机变量二元高斯随机变量21,ξξ，均值为零、协方差矩阵为：⎟⎟⎠⎞⎜⎜⎝⎛=11r r B ，121111r B r r −−⎛⎞=⎜⎟−−⎝⎠，21B r =− 其二元概率密度和特征函数为：⎟⎟⎠⎞⎜⎜⎝⎛+−−−−=]2[)1(21exp 121),(222121222121x x rx x r r x x f πξξ ⎟⎠⎞⎜⎝⎛++−=Φ]2[21exp ),(2221212121u u u r u u u ξξ二元高斯随机变量21,ξξ，其均值、协方差矩阵为，μμμξξ=⎟⎟⎠⎞⎜⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛2121E , ⎟⎟⎠⎞⎜⎜⎝⎛=22212121σσσσσσr r B ， ()222121B r σσ=− ()()22121222212121211222122111111r B r r r r r σσσσσσσσσσσσσσ−⎛⎞−=⎜⎟⎜⎟−−⎝⎠⎛⎞−=⎜⎟⎜⎟−−⎝⎠其二元概率密度和特征函数为1221122(,exp f x ξξ⎛⎞⎤⎜⎟⎥⎜⎟⎢⎥⎝⎠⎝⎠⎝⎠⎝⎠⎣⎦⎝⎠()⎟⎠⎞⎜⎝⎛++−+=Φ]2[21exp ),(222221212121221121u u u r u u u j u u σσσσμμηξ 2.3 n 元高斯随机变量n 元高斯随机变量ξ，其均值、协方差矩阵（正定的）为，⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=nn n n n n n b b b b b b b b b B "###""#21222121121121,μμμμ 其n 元概率密度和特征函数为()[]()()⎟⎠⎞⎜⎝⎛−−−=−μx μx x 12/121exp 21)(B B f Tnπξ⎟⎠⎞⎜⎝⎛−=Φu u u μT T B j U 21exp )(ξ其中，()Tn x x x "21=x ，()Tn u u u "21=u考虑到矩阵是B 正定对称的，则存在一个非奇异矩阵L ，使得B=LL T ，作线性变换L ，)(1X L μx y −=−，X L μy x +=，111111)()()(−−−−−−=⋅==L L L L LL B t t tyy μx μx μx μx μx μx T X T X X t T X X T X L L L L B =−−=−⋅−=−−−−−−−)]([)]([)()()()()(11111对应这个变换的雅可比行列式是2/1B L ==∂∂yx ()[]()[]⎟⎠⎞⎜⎝⎛−=⋅⎟⎠⎞⎜⎝⎛−−−=−y y μx μx T n X T X nB B B Y f 21exp 21)()(21exp 21)(2/12/112/1ππη()[]⎟⎠⎞⎜⎝⎛−=∑=N n n n y 122/121exp 21π显然有1)()()(21===∫∫∫∫∫∫∞∞−∞∞−∞∞−∞∞−∞∞−∞∞−N dy dy dy Y f dYY f dX X f """"ηηξ2.4 n 元高斯随机变量的特征函数的计算考虑以下的矩阵运算XTTX T T X T T j jS j L j L j j μu y μu y u μy u x u +=+=+=)(其中：u u T T T L S L S==,2/2/)()(2/2/)()(211S S jS jS j jS j j B j T T X T T T X T T X T X T −−−−=−+=−=−−−−y y μu y y y μu y y x u μx μx x u TN 元高斯随机变量的特征函数是:{}()()()()()()()11/211/21/2()exp()exp()()11exp()exp 2211exp 221exp[/2]2exp[()(TTT TnT T nT T X n T E j j f d j B d B j B d B j S S jS j ξξπππ∞∞−∞−∞∞∞−−∞−∞∞∞−−∞−∞∞∞−∞−∞Φ==⎛⎞=−−−⎜⎟⎝⎠⎡⎤⎣⎦⎛⎞=−−−⎜⎟⎝⎠⎡⎤⎣⎦=−⎡⎤⎣⎦−−−∫∫∫∫∫∫∫∫u u x u x x x u x x μx μx u x x μx μxu μy y """")/2]exp[/2]exp[/2]exp[/2]T T X T T T X T T X S d j S S j LL j B =−=−=−yu μu μu u u μu u⎟⎠⎞⎜⎝⎛−=Φu u μu u B j T X T 21exp )(ξ当协方差矩阵是非负定的，可以证明若它的秩为r<n ，它的概率分布集中在r 维子空间上，这种分布是退化正态分布，或奇异正态分布。
第二章 随机过程的一般概念2.1 随机过程的基本概念和例子定义2.1.1：设(P ,,F )Ω为概率空间，T 是某参数集，若对每一个，是该概率空间上的随机变量，则称为随机过程(Stochastic Process)。
T t ∈),(w t X ),w t (X 随机过程就是定义在同一概率空间上的一族随机变量。
随机过程可以看成定义在),(w t X Ω×T 上的二元函数，固定Ω∈0w ，即对于一个特定的随机试验，称为样本路径(Sample Path)，或实现(realization)，这是通常所观测到的过程；另一方面，固定，是一个随机变量，按某个概率分布随机取值。
),(0w t X T t ∈0),(0w t X抽象一点：令，即∏∈=Tt T R R T R 中的元素为),(T t x X t t ∈=,为其Borel域(插乘)(T R B σ域)，随机过程实质上是()F ,Ω到())(,T T R R B 上的一个可测映射，在())(,T TR RB 上诱导出一个概率测度：T P ()B X P B P R B T T T ∈=∈∀)(),(B 。
一般代表的是时间。
根据参数集T 的性质，随机过程可以分为两大类： t 1)为可数集，如T {}L ,2,1,0=T 或{}L L ,1,0,1,−=T ，称为离散参数随机过程，也称为随机序列；2)为不可数集，如T {}0≥=t t T 或{}∞<<∞−=t t T ，称为连续参数随机过程。
随机过程的取值称为过程所处的状态(State)，所有状态的全体称为状态空间(State Space)。
通常以表示随机过程的状态空间。
根据状态空间的特征，一般把随机过程分为两大类：T t t X ∈),(S 1) 离散状态，即取一些离散的值； )(t X 2)连续状态，即的取值范围是连续的。
)(t X离散参数离散状态随机过程： Markov 链 连续参数离散状态随机过程： Poisson 过程 离散参数连续状态随机过程： *Markov 序列连续参数连续状态随机过程： Gauss 过程，Brown 运动例2.1.1：一醉汉在路上行走，以的概率向前迈一步，以q 的概率向后迈一步，以p r 的概率在原地不动，1=++r q p ，选定某个初始时刻，若以记它在时刻的位置，则就是直线上的随机游动(Random Walk)。
随机游动1．随机游动模型设有一个质点在x 轴上作随机游动，在t=0时在x 轴的原点，在t=1,2,3,…时沿x 轴正方向或反方向移动一个单位距离，沿正方向移动一个单位距离的概率为p ，沿反方向移动一个单位距离的概率为q=1-p 。
质点随机游动构成一个离散时间、离散状态的随机过程。
记质点在第n 步时的状态为L ,2,1,0,=n n η，¾ 样本空间：{……-3,-2,-1,0,1,2,3……} ¾ 初始态：00=η¾ 一步转移概率：经过一步从状态i 转移到状态j 的概率1110ij p j i p q p j i otherwise =+⎧⎪==−=−⎨⎪⎩2．随机游动模型的分析¾ 经过n 步以后的位置特征 ¾ 经过n 步返回原点的概率 ¾ 经过n 步第一次返回原点的概率 ¾ 第一次返回原点所需的平均时间 ¾ 迟早返回原点的概率 ¾ 多次返回原点的概率 ¾ 经过n 步达到+1的概率 ¾ 第1次通过最大值2.1 经过n 步以后的位置特征：概率分布、统计特征质点在第n 步时的状态为L ,2,1,0,=n n η，？ 经过时间n ，质点距离原点的距离为m 的概率P{n η=m}n η是一个随机变量，它的可能取值是：{}n n n n n ,1,,1,,0,1,,2,1,−−−−−L L若质点移动n 步后到达m n =η 的位置，则所有的移动中，正方向移动2mn +步，反方向移动2mn −步，因此： 一维概率分布：{}222m n m n n q p m n n m P −+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+==η， m=-n,-n+2,-n+4,……,n-2,n ；n m ≤均值：∑==nk k n 1ξη；其中k ξ为每一步的移动，{}{},n ,,q,k ξP p,ξP k k L 2111==−==={}{}{}q p 1)(*11*1E −=−=+==k k k ξP ξP ξ{}{})(n 11q p E E E nk k n k k n −==⎭⎬⎫⎩⎨⎧=∑∑==ξξη，[]∑∑∑∑∑∑=======⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡⋅=n k n l l k n k n l l k n k nl l k nE E E E 1111112}{ξξξξξξη考虑到l k ≠，[][][]()2q p E E E l k l k −=⋅=ξξξξ；l k =，[]()11122=+=⋅−+⋅=q p q p E l k ξξ∴ [][][]n ))(1n (n 21kl 112+−−=+=∑∑∑=≠==q p E E E n k n l nk k k l k ξξξξη方差：()[]{}()(){}n n n n n E E E E E ηηηηηη⋅−+=−2222＝()()[]22n n E E ηη−＝()22n n E ημη−npqq)n(p n q)(p n n q))(p n(n 412222=−−=−−+−−=相关函数：若n<m, []⎥⎦⎤⎢⎣⎡⋅=⋅∑∑==ml l n k k m n E E 11ξξηη⎥⎦⎤⎢⎣⎡=∑∑==n k m l l k E 11ξξ()∑∑===nk ml l k E 11ξξ()()∑∑∑==≠=+=nk k kn k mk l l l kE E 111ξξξξn q p nk m kl l +−=∑∑=≠=112)( n q p m n +−−=2))(1(若n>m, []m q p n m E m n +−−=⋅2))(1(ηη[][][]22)()(1,min q p nm q p m n E m n −⋅+−−=⋅ηη总结：概率分布：{}222m n m n n q p m n n m P −+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+==η ， m=-n,-n+2,-n+4,……,n-2,n ；n m ≤均值：{}()n E n p q η=− 方差：(){}24n n E E npq ηη−=⎡⎤⎣⎦相关函数：[][]2min ,4()n m E n m pq nm p q ηη⋅=⋅+⋅−2.2 经过n 步返回原点的概率根据一维分布的分析可知，第n 步返回原点的概率为：⎪⎪⎩⎪⎪⎨⎧⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛==为偶数，为奇数n q p n n n P nn n 222,0}0{η只有经过偶数步才能返回原点，经过奇数步返回原点的概率为0。
考虑经过2n 步返回原点的概率，记作：nn n n q p n n P u ⎟⎟⎠⎞⎜⎜⎝⎛===2}0{22η2.3 第一次返回原点的概率第2n 步第一次返回原点的事件记作：}0,0,0,0{2n 12n 212=≠……≠≠=−ηηηη，n B第2n 步第一次返回原点的概率记作：}0,0,0,0{}{2n 12n 2122=≠……≠≠==−ηηηη，P B P v n n第2n 步返回原点的概率与第2n 步第一次返回原点的概率的关系是：222222222221nn n n n k n k k u v v u v u v u −−−==+++=∑L利用矩生成函数求概率分布及数字特征对于n u 2与n v 2，注意到000,1v u ==可以得到下列的矩生成函数，22222211122220()1111()()nnnn k n k n n k m k m k m k U z u zv u z u z v z U z V z ∞∞−===∞∞===+=+=+=+∑∑∑∑∑对于经过２ｎ步返回原点的概率n u 2，()()()()()()()()()()()()()()22!!!22242212331!!211/23/21/212!!!1/24nn nnnnnn n u pq n n n n n n pq n n n n pq n n pq n =−⋅−−⋅=−−−−−−=−⎛⎞=−⎜⎟⎝⎠L L Ln u 2的矩生成函数为()()22200201/2()41/24n nnn n n nn U z u zpq z n pqz n ∞∞==∞=−⎛⎞==−⎜⎟⎝⎠−⎛⎞=−⎜⎟⎝⎠=∑∑∑)(11)(z U z V −= 2411)(pqz z V −−=()()()()()()()()()()()()()()()12111/21411/21/23/21/214!23253142!22!422!(1)!211221n n n n nn n nn n nv pq n n pq n n n pq n n pq n n n pq n n −−−⎛⎞=−⎜⎟⎝⎠−−−−−=−−⋅=−=−−⎛⎞=⎜⎟−⎝⎠L L2.4 迟早返回原点的概率第2n 步第一次返回原点的事件记作：}0,0,0,0{2n 12n 212=≠……≠≠=−ηηηη，n B第2n 步第一次返回原点的概率记作：}0,0,0,0{}{2n 12n 2122=≠……≠≠==−ηηηη，P B P v n n随机游动迟早返回原点的概率,()0(1)11111n n n n P P B v V p qp q p qp q ∞∞=======−−⎧−−<≠=⎨=⎩∑∑随机游动第一次返回原点花费的平均时间，14z n pqp q p q p q μ∞====⎧≠⎪−=⎨⎪∞=⎩随机游动的恒等式考虑到()U z =()1V z =−可以得到(()221()1414()V z pqzpqz U z−==−=−也就是说，2222222244n n nn n nv u pquv pqu u−−−=−=−对于对称的随机游动1/2p q==，就有22222222426n n n n n nu v u v v v+++++=+=+++L2.5 多次返回原点的概率“在2n次试验中，第r次返回原点”，相应的概率记作，()2rnv。
利用递推公式有()(1)2222nr rn k n kkv v v−−==⋅∑相应的生成函数是()()2()2()2222000(1)()()()()r r n r k r mn k mn k nr rV z v z v z v zV z V z V z∞∞∞===−====∑∑∑考虑到()1V z=经过推导，可以得到恒等式(()()(1)(1)(1)(1)(1)(2)(1)(2)2(2)(1)(2)(2)2(2)()()()1()()()()1()()()14()()()()4() r r rr rr rr r rr r r rV z V z V z V zV z zV z V zV z z pqz V zV z z V z pqz V z−−−−−−−−−−−−−=====+−=+−=(1)(2)2(2)(1)(2)2(2)(1)2(2)()()14()()()()4()2()4()r r rr r rr rV z V z pqz V zV z V z V z pqz V zV z pqz V z−−−−−−−−+−−=+−=−由此得到递推公式()(1)(2)222224r r r n n n v v pqv −−−=−初值(1)2n v 已经可以计算出，由此得到“在2n 次试验中，第r 次返回原点”的概率为()()2222nr r nn r r vpq n n r −⎛⎞=⎜⎟−⎝⎠2.6 第n 步第1次达到+1的事件以及相应的概率事件}1,0,,0,0{121=≤≤≤−n n ηηηηL 表示第1次达到+1，第1次穿过+1的事件。
相应的概率记作：}1,0,,0,0{121=≤≤≤=Φ−n n n P ηηηηL其中初始条件是00φ=，1p φ=。
考虑“1n >第1次达到+1”的事件，q P =−=}1{1η存在一个整数k n <，1,2,2k n =−L ，使得0=k η，在以后的n-k 步，第1次达到+1。
1121121}1,0,,0,0{}0,0,,0,1{−−−Φ==≤≤===<<−=k k k k k P P ηηηηηηηηL L第n 步第1次达到+1的事件，可以分解为互斥的事件，第n 步第1次达到+1的概率为这些互斥事件的概率的和()1223211n n n n q n φφφφφφφ−−−=+++>L第n 步第1次达到+1的概率的矩生成函数是，11121112()()n nnn k n k n n k mkm k m k z z pz q z pz qz zzpz qz z φφφφφ∞∞−−−===∞∞==Φ==+=+=+Φ∑∑∑∑∑()z Φ=2()()qz z V z Φ=考虑到，()2221n v pq n n =⎜⎟−⎝⎠因此有，()()122121/214220n nn n n v pq n q qφφ−−−⎛⎞==⎜⎟⎝⎠= 进一步有11(1)/1n n n n z p qp q p qφφ∞=∞=Φ===<⎧=⎨>⎩∑∑计算第1次穿过+1 的平均时间是()()1(1)11(1)1221//V z z q p q q p q p q p q p q q p q p φ⎛⎞′=′Φ==−=−⎜⎟⎜⎟−⎝⎠−>⎧⎪=∞=⎨⎪−>⎩2.7 第1次通过最大值给定一个期望的最大值r ，()r n Φ表示“在第n 步第一次通过r ”的概率。
