北大随机过程课件：第_3_章_第_5_讲_更新过程

高斯分布随机变量及其性质¾ 中心极限定理 ¾ 高斯分布的随机变量¾ N 维高斯随机变量的统计独立特性 ¾ 高斯随机变量的线性变换¾高斯分布的随机变量的条件分布和边缘分布1．引言．中心极限定理给定n 个独立的随机变量,1,2,i x i ="n ，它们的和为：12n x x x x =+++"，x 的均值为12n ηηηη=+++"，方差为222212n σσσσ=+++"，在一定的条件下，当n 趋于无穷时，x 的概率密度函数f(x)趋向于具有相同均值和方差的高斯(正态)分布：22()2()x f x ησ−−≈中心极限定理逼近的性质以及对一个给定误差所需的随机变量的数目n 依赖于概率密度函数()i f x 。

2高斯分布的随机变量典型高斯分布的随机变量的概率密度与特征函数的描述。

()f x ξ，{}()()ju jux u E e e f x dx ξξξ∞−∞Φ==∫2.1一元高斯随机变量一元高斯随机变量Ｎ(0,1)，均值为零、方差为1，其概率密度和特征函数：2221)(x ex f −=πξ22)(u eu −=Φξ一元高斯随机变量N(μ,σ2)，均值为μ、方差为σ2，其概率密度和特征函数：222)(221)(σμξπσ−−=x ex f222)(u u j eu σμξ−=Φ2.2二元高斯随机变量二元高斯随机变量21,ξξ，均值为零、协方差矩阵为：⎟⎟⎠⎞⎜⎜⎝⎛=11r r B ，121111r B r r −−⎛⎞=⎜⎟−−⎝⎠，21B r =− 其二元概率密度和特征函数为：⎟⎟⎠⎞⎜⎜⎝⎛+−−−−=]2[)1(21exp 121),(222121222121x x rx x r r x x f πξξ ⎟⎠⎞⎜⎝⎛++−=Φ]2[21exp ),(2221212121u u u r u u u ξξ二元高斯随机变量21,ξξ，其均值、协方差矩阵为，μμμξξ=⎟⎟⎠⎞⎜⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛2121E , ⎟⎟⎠⎞⎜⎜⎝⎛=22212121σσσσσσr r B ， ()222121B r σσ=− ()()22121222212121211222122111111r B r r r r r σσσσσσσσσσσσσσ−⎛⎞−=⎜⎟⎜⎟−−⎝⎠⎛⎞−=⎜⎟⎜⎟−−⎝⎠其二元概率密度和特征函数为1221122(,exp f x ξξ⎛⎞⎤⎜⎟⎥⎜⎟⎢⎥⎝⎠⎝⎠⎝⎠⎝⎠⎣⎦⎝⎠()⎟⎠⎞⎜⎝⎛++−+=Φ]2[21exp ),(222221212121221121u u u r u u u j u u σσσσμμηξ 2.3 n 元高斯随机变量n 元高斯随机变量ξ，其均值、协方差矩阵（正定的）为，⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎝⎛=nn n n n n n b b b b b b b b b B "###""#21222121121121,μμμμ 其n 元概率密度和特征函数为()[]()()⎟⎠⎞⎜⎝⎛−−−=−μx μx x 12/121exp 21)(B B f Tnπξ⎟⎠⎞⎜⎝⎛−=Φu u u μT T B j U 21exp )(ξ其中，()Tn x x x "21=x ，()Tn u u u "21=u考虑到矩阵是B 正定对称的，则存在一个非奇异矩阵L ，使得B=LL T ，作线性变换L ，)(1X L μx y −=−，X L μy x +=，111111)()()(−−−−−−=⋅==L L L L LL B t t tyy μx μx μx μx μx μx T X T X X t T X X T X L L L L B =−−=−⋅−=−−−−−−−)]([)]([)()()()()(11111对应这个变换的雅可比行列式是2/1B L ==∂∂yx ()[]()[]⎟⎠⎞⎜⎝⎛−=⋅⎟⎠⎞⎜⎝⎛−−−=−y y μx μx T n X T X nB B B Y f 21exp 21)()(21exp 21)(2/12/112/1ππη()[]⎟⎠⎞⎜⎝⎛−=∑=N n n n y 122/121exp 21π显然有1)()()(21===∫∫∫∫∫∫∞∞−∞∞−∞∞−∞∞−∞∞−∞∞−N dy dy dy Y f dYY f dX X f """"ηηξ2.4 n 元高斯随机变量的特征函数的计算考虑以下的矩阵运算XTTX T T X T T j jS j L j L j j μu y μu y u μy u x u +=+=+=)(其中：u u T T T L S L S==,2/2/)()(2/2/)()(211S S jS jS j jS j j B j T T X T T T X T T X T X T −−−−=−+=−=−−−−y y μu y y y μu y y x u μx μx x u TN 元高斯随机变量的特征函数是:{}()()()()()()()11/211/21/2()exp()exp()()11exp()exp 2211exp 221exp[/2]2exp[()(TTT TnT T nT T X n T E j j f d j B d B j B d B j S S jS j ξξπππ∞∞−∞−∞∞∞−−∞−∞∞∞−−∞−∞∞∞−∞−∞Φ==⎛⎞=−−−⎜⎟⎝⎠⎡⎤⎣⎦⎛⎞=−−−⎜⎟⎝⎠⎡⎤⎣⎦=−⎡⎤⎣⎦−−−∫∫∫∫∫∫∫∫u u x u x x x u x x μx μx u x x μx μxu μy y """")/2]exp[/2]exp[/2]exp[/2]T T X T T T X T T X S d j S S j LL j B =−=−=−yu μu μu u u μu u⎟⎠⎞⎜⎝⎛−=Φu u μu u B j T X T 21exp )(ξ当协方差矩阵是非负定的，可以证明若它的秩为r<n ，它的概率分布集中在r 维子空间上，这种分布是退化正态分布，或奇异正态分布。

随机过程_课件---第三章第三章随机过程3.1 随机过程的基本概念1、随机过程定义3-1 设(),,F P Ω是给定的概率空间，T 为一指标集，对于任意t T ∈，都存在定义在(),,F P Ω上，取值于E 的随机变量()(),X t ωω∈Ω与它相对应，则称依赖于t 的一族随机变量(){},:X t t T ω∈为随机过程，简记(){}tX ω，{}tX 或(){}X t 。

注：随机过程(){,:,}X t t T ωω∈Ω∈是时间参数t 和样本点ω的二元函数，对于给定的时间是()00,,t T X t ω∈是概率空间(),,F P Ω上的随机变量；对于给定样本点()00,,X t ωω∈Ω是定义在T 上的实函数，此时称它为随机过程对应于0ω的一个样本函数，也成为样本轨道或实现。

E 称为随机过程的相空间，也成为状态空间，通常用""t X x =表示t X 处于状态x 。

2、随机过程分类：随机过程t X 按照时间和状态是连续还是离散可以分为四类：连续型随机过程、离散型随机过程、连续随机序列、离散随机序列。

3、有穷维分布函数定义3-2 设随机过程{}t X ，在任意n 个时刻1,,n t t 的取值1,,nt tX X 构成n 维随机向量()1,,n t t XX ，其n 维联合分布函数为：()()11,,11,,,,nnt t nt t nF x x P X x Xx ≤≤其n 维联合密度函数记为()1,,1,,n t tn f x x 。

我们称(){}1,,11,,:1,,,nt t n n Fx x n t t T ≥∈ 为随机过程{}t X 的有穷维分布函数。

3.2 随机过程的数字特征1、数学期望对于任何一个时间t T ∈，随机过程{}t X 的数学期望定义为()()tX t t E X xdF x μ+∞-∞==?()t E X 是时间t 的函数。

2、方差与矩随机过程{}t X 的二阶中心矩22()[(())],tX t t t Var X E X E X t T σ==-∈称为随机过程{}t X 的方差。

马尔可夫过程排队过程1 排队过程的基本参数和问题排队模型的一般描述：A/R/S/N排队系统的基本参数排队的基本问题排队问题的李特公式2．排队问题的分析方法3. 排队问题的Little定律4．排队问题举例：例1 排队问题M/M/1/∞（无限队长）ξ是一个参数连续状态离散的马尔可夫过程。

(1)()t(2) 求解Q矩阵：(3) 研究稳态t→∞的状态概率分布(4) 达到稳定状态后，系统中顾客的平均数L，(5) 达到稳定状态后，系统中排队等待顾客的平均值L Q，(6) 达到稳定状态后，顾客在系统中的平均时间W，(7) 达到稳定状态后，顾客在系统中等待的平均时间WQ：(8) Little定律：M/M/1/∞排队模型总结：系统中平均的顾客数和平均延迟与负载的关系：例2 排队问题M/M/1/N（有限队长）例3 顾客成批到达的排队问题例4 电话交换问题（M/M/N/N）例5 M/M/s/∞排队系统例6 队长为k>s、s个服务员的排队问题M/M/s/k例7 机器维修问题1 排队过程的基本参数和问题排队模型的一般描述：A/R/S/N排队系统的基本参数A ：顾客到达系统的规律（典型的是泊松到达率），R ：顾客在系统中接受服务的规律（典型的是负指数分布）， S ：系统中服务人员的个数（典型的是一个服务员）， N ：系统中排队队长的限制（典型的有限队长N ）。

排队的基本问题在排队系统的平均顾客数L ， 在排队等候的平均顾客数L Q ， 顾客在系统中平均花费的时间W ， 顾客在排队等候的平均时间W Q 。

排队问题的李特公式W L λ=，Q Q W L λ=2．排队问题的分析方法马尔可夫模型的排队问题，M/M/……确定：系统状态转换图， Q 矩阵，稳态的线性方程组，得到：稳态分布的递推关系和稳态解，分析：系统中的平均顾客数、平均队长、系统中的时间、平均等待时间、李特公式。

3. 排队问题的Little 定律W L λ=，Q Q W L λ=排队系统中普适性的定律，统计量服从的公式，对到达过程、服务时间分布、服务规则无特殊要求。