《数理统计与随机过程讲义》

《数理统计与随机过程讲义》段法兵复杂性科学研究所第一章 概率论回顾下面是数理统计部分需要的掌握的，许多推导的基础知识。

§1.1 几种分布的由来指数分布：服务台电话呼叫时间，公交车到达一个车站时间，这些时间分布的符合指数分布。

设)(t q 为区间t 上没有事件发生的概率，x 为第一次事件发生等待的时间，那么)()(t x P t q >=，假设不同时间区间1t ，2t 相互不重叠且独立，那么)()()(2121t t x P t x P t x P +>=>>⇒)()()(2121t t q t q t q +=⇒t e t q λ-=)(为非平凡（非零）有界解，这里λ为状态转移概率 那么我们有分布函数t e t q t x P t x P t F λ--=-=>-=≤=1)(1)(1)()(因此得到指数分布⎩⎨⎧≥==-other t e dt t dF t f t 00)()(λλ两个指数分布之和的分布？y x z +=在x-y 的空间内，满足z y x ≤+的区域如上，那么z 的累计分布Y{}⎰⎰-=≤+=yz xy z dx y x f dy z y x P z F 0),()(那么⎰-==z y x z dx x z f x f dzz dF z f 0)()()()( 例如x 与y 为相互独立的指数分布，x x e x f λλ-=)(和y y e y f λλ-=)(分别为其概率分布函数，那么x z =+y 的分布为z zx z x y x z e z dx e e y f x f z f λλλλλ---===⎰20)(*)()(z zx z x e z dx e e λλλλλ----==⎰20)(2， 0>zGamma 分布：N 个指数分布的随机变量之和的分布为Gamma 分布。

例如x 与y 为相互独立的指数分布，x x e x f λλ-=)(和y y e y f λλ-=)(分别为其概率分布函数，那么x z =+y 的分布为z zx z x y x z e z dx e e y f x f z f λλλλλ---===⎰20)(*)()(如此卷积下去，N 个相互独立的指数分布相加的概率分布为Gamma 分布，其概率密度函数⎪⎩⎪⎨⎧≥Γ=--other x e x x f x 00)()(/1βααβα这里参数0,>βα。

Gamma 函数⎰∞--=Γ01)(dx e x x αα。

性质1：利用分部积分法得到递推公式)()1(αααΓ=+Γ，当α为整数n 时，利用分部积分法得到!)()1(n n n n =Γ=+Γ，而非整数2/1=α，利用变量代换2/2y x =，得到π=Γ)2/1(，所以有πnn n n n n n 2!)!12()21(2123)23)(21()21()21()21(-=Γ--=-Γ-=+Γ 。

性质2：1=α ，Gamma 分布为βλ/1=的指数分布；α为整数n ，Gamma 分布为Erlang 分布，如第一次故障后再次出现n次故障；2/n =α，2/1/1==βλ，Gamma 分布为2χ分布，抽样理论中一种重要分布。

§1.2 随机变量函数的分布因为我们在后面统计假设，检验时将遇到随机变量的函数，因此求出随机变量函数的分布是一个非常重要的基础知识。

分为单输入单输出和双输入单（双）输出三种类型。

类型一： 设x 的分布)(x f x ，求)(x g y =的分布)(y f y如图所示，在dy 区间y 发生的概率为dy y f y )(，由于)(x g y =不一定是单调函数，dy 区间y 对应了多个区间dx1，dx2,dx3,…，都满足dy y x g y +<<)(，dy 区间y 发生的概率等于所对应的x 所在区间发生的概率：i i x y dx x f dy y f )()(∑=∑∑==⇒ii x i i x y dx dy x f dy dx x f y f /)()()( 我们设)(y h x i i =为逆函数，则∑∑==i i ix i ii x y y h g y h f y h y h f y f |)](['|)]([|)('|)]([)(例子：设x 的分布2221)(x e x f x -=π，求平方律检波器输出2x y =的概率分布函数。

解：y x ±=为反函数两支，且)2/(1/y dy dx =，则0,212121*2)()(2/2/12≥===---∑y e y e y dy dx x f y f y yi i x y ππ这个分布就是Gamma 分布的)2,2/1(Γ，也是自由度为1的2χ分布。

例子：设x 的分布为均匀分布)(x f x =π/1，]2/,2/[ππ-∈x ，那么)arctan(x y =的分布为柯西分布21/1)(y y f y +=π逆问题1：已知x 的分布)(x f x ，如何构造)(x g y =函数使得y 符合（0,1）之间的均匀分布1)(=y f y 。

由上面推导知dx x f dy y f x y )()(=将1)(=y f y 代入上式，得出)()()(x F du u f y dx x f dy x x x x ==⇒=⎰∞-可以看出我们要找到函数)(x g 就是x 的累积分布函数x F 。

应用：数字图像的直方图均衡化【Gonzalez ： 数字图像处理】数字图像的直方图就是图像灰度的分布，比如电子显微镜下花粉图像 Matlab 代码：假设你有花粉图像pollen.tif >> X=imread('pollen.tif'); >> imshow(X) >> imhist(X) >> ylim('auto')0050100150200250原始花粉图像 灰度的分布直方图可以看出图像较暗，灰度集中在较低的灰度级别-偏暗端，如果将灰度调节一下，使得整个灰度范围内（0,255）内大致均匀分布，那么就达到了亮度调谐的目的。

利用上面推导，)(x g 就是x 的累积分布函数x F ，这里是离散分布，那么就把积分改成加和的方式，设)(j x x p 为不同灰度级L j ,,2,1 =灰度的概率，那么均衡化变换为∑==kj j x k x p y 1)(L k ,,2,1 =，k y 就是输出图像的灰度值。

这样处理： >> Y=histeq(I,256); >> imshow(Y)>> figure, imhist(Y) >> ylim('auto')0050100150200250可以看出输出图像的直方图在256个灰度级都有分布，比较接近均匀分布，并不是完全平坦。

但是图像已经比较亮度合适了。

逆问题2：已知x 的分布为（0,1）之间的均匀分布)(x f x =1，如何构造)(x g y =函数使得y 符合任意分布)(y f y 。

同理，由 dx x f dy y f x y )()(=，得到⎰∞-=y y du u f x )(=)(y F y就是)(y h x =逆函数为y 的累积概率密度函数y F ，自然)(x g 就是y F 的逆函数：)(1x F y y -=例子：求Rayleigh 分布这个是只对于r>0有定义，求CDF那么如果设U 为均匀分布（)(y h x=）1- U 也是均匀分布，即那么得出变换关系R 就是瑞利分布了~~~~~Rayleigh随机数程序clear alln = input('Enter number of points > ');varR = 3; % set pdf parameteru = rand(1,n); % generate Uy_exp = sqrt(-2*varR*log(u)); % transformation[N_samp,r] = hist(y_exp,20); % get histogram parameters subplot(2,1,1)bar(r,N_samp,1) % plot histogramylabel('Number of Samples')xlabel('Independent Variable - x')subplot(2,1,2)term1 = r.*r/2/varR; % exponentray = (r/varR).*exp(-term1); % Rayleigh pdfdel_r = r(3)-r(2); % determine bin widthp_hist = N_samp/n/del_r; % probability from histogram plot(r,ray,'k',r,p_hist,'ok') % compare resultsylabel('Probability Density')xlabel('Independent Variable - x')legend('true pdf','samples from histogram',1)0123456750100150N u m b e r o f S a m p l e sIndependent Variable - x00.10.20.30.4P r o b a b i l i t y D e n s i t yIndependent Variable - x类型二： 设x 和y 的联合分布),(y x f xy ，那么求),(y x g z =的分布z f ，这里主要考虑y x z ±=，xy z =，y x z /=，以及),max(y x z =，),min(y x z =，此类问题的重要处在于二重积分的积分区间。

例如：y x z /=解：}0|{}0|{}/{<≥+>≤=≤y yz x P y yz x P z y x P 上述两个分割概率可以用图形表示那么z 的累积概率密度函数⎰⎰⎰⎰-∞=∞=∞=-∞=+=⎭⎬⎫⎩⎨⎧≤=00),(),()(y yzx xy y yzx xy z dxdy y x f dxdy y x f z y x P z F 按照复合函数求导法则⎰⎰⎰∞∞-∞-∞=-+==dyy yz f y dyy x yf dy y x yf dz dF z f xy xy xy zz ),(||),(),()(00同理可得：y x z ±=对应的分布为⎰∞∞-=dy y y z f z f xy z ),()(对于x >0分布)(x f x y >0分布)(y f y 类型，比如前面的指数分布⎰=zxy z dy y y z f z f 0),()(因为此时积分区间为⎰⎰=-==≤+=zy yz x dxdy y x f z y x F z F 00),(}{)(那么dy y y z f dy dx y x f z dz dFz f z z y z z ⎰⎰⎰-=∂∂==-000),()),(()(比如两个系统x,y 表示其故障发生时间，那么备用系统模型S 的故障时间分布为x+y 和的分布设x 和y 相互独立，)()(),(y f x f y x f y x xy =，),max(y x z =的分布为)()()()()(z F z f z f z F z f y x y x z +=比如并联系统),min(y x z =的分布为)()()()()()()(z F z f z f z Fz f z f z f y x y x y x z --+=比如串联系统类型三：已知设x 和y 的联合分布),(y x f xy ，那么求),(y x g z =，),(y x h w =的联合分布),(w z f zw ，这里设g 和h 函数连续可导，且有可逆函数),(w z k x =，),(w z m y =在微元面积w z ∆∆上发生的概率w z w z f w w y x h w z z y x g z P zw ∆∆=∆+≤≤∆+≤≤),(}),(,),({我们将ABCD 对应的微元映射到xy 概率空间上的A’B’C’D’微元S ∆，那么S y x f w z w z f xy zw ∆=∆∆),(),(因此，我们可以解出 w z S y x f w z f xy zw ∆∆∆=),(),(，问题的关键转化为求wz S∆∆∆，点（z,w ）变换为'A 点（),(w z k x =，),(w z m y =），那么'B 点的坐标可以表示为（'',B B y x ）=（),(),,(w z z m w z z k ∆+∆+）≈（,),(z z k w z k ∆∂∂+z zmw z m ∆∂∂+),(） =(,z z k x ∆∂∂+z zm y ∆∂∂+)同理'C 点的坐标可以表示为（'',C C y x ）=(,w w k x ∆∂∂+w wmy ∆∂∂+) 那么S ∆的面积可以用平行四边形面积求出wz w z J w z w m z m w kz k ww kz z m w w m z z k C A B A C A B A C A B A S ∆∆=∆∆∂∂∂∂∂∂∂∂=∆∂∂∆∂∂-∆∂∂∆∂∂=-=-=∆|),(|cos ''sin ''sin ''cos '')sin(''''θϕθϕϕθ 代入S y x f w z w z f xy zw ∆=∆∆),(),(，我们得到|),(|),(),(|),(|),(,y x J y x f y x f w z J w z f y x xy zw ==这里Jacobi 矩阵|),(|1|),(|y x J w z J =，二者互为逆阵。