第一章 概率论基础知识概率论是随机过程的基础，在传统的概率论中，限于各种原因，往往借助于直观理解来说明一些基本概念，这对于简单随机现象似乎无懈可击，但对于一些复杂随机现象就难以令人信服了.随着随机数学理论的不断完善，随机过程越来越成为现代概率论的一个重要分支和发展方向. 为了更好地学习随机过程，我们必须对基础概率论的理论有一个比较深入和全面的了解.本章就是在此基础上系统介绍概率论基础知识，包括概率空间、随机变量及其分布、数学期望的若干性质、特征函数和母函数、随机变量列的收敛性及其相互关系、条件数学期望等.1．1 概率空间概率论是研究随机现象统计规律的一门数学分科，由于随机现象的普遍性，使得概率论具有极其广泛的应用.随机试验是概率论的基本概念之一，随机试验所有可能结果组成的集合称为这个试验的样本空间，记为Ω.Ω中的元素ω称为样本点，Ω中的子集A 称为随机事件，样本空间Ω也称为必然事件，空集Φ称为不可能事件.定义 1.1 设Ω是一个集合，F 是Ω的某些子集组成的集合簇（collection ）（或称集类），如果 （1）Ω∈F ；（2）若A ∈F ，则\A A =Ω∈F ；（取余集封闭） （3）若n A ∈F ,1,2,n = ，则1n n A ∞=∈ F ；（可列并封闭）则称F 为σ-代数（sigma algebra -）（B orel 域或事件域（field of events ）），（,ΩF ）称为可测空间（m easurable space ）.由定义可以得到 （4）Φ∈F ；（5）若,A B ∈F ，则\A B ∈F ；（取差集封闭）（6）n A ∈F ,1,2,n = ，则1ni i A = ，1ni i A = ，1i i A ∞= ∈F （有限交，有限并，可列交封闭）定义1.2 设（,ΩF ）为可测空间，()P ⋅是定义在F 上的实值函数，如果 （1）任意A ∈F ,0()1P A ≤≤；（非负性） （2）()1P Ω=；（正规性）（3）对两两互不相容事件12,,A A （当i j ≠时，i j A A =Φ ），有11()i ii i P A P A ∞∞==⎛⎫=⎪⎝⎭∑ （可列可加性）. 则称P 是（,Ω F）上的概率（p r o b a b i l i ），(,ΩF ，P ）称为概率空间（probability space ），()P A 为事件A 的概率. 由定义知（4）,A B ∈F ,A B ⊂，则(\)()()P B A P B P A =- （可减性）一事件列{,1}n A n ≥称为单调增列，若1,1n n A A n +⊂≥；称为单调减列，若1,n n A A +⊃1n ≥. 显然，如果{,1}n A n ≥为单调增列，则1lim n in i A A∞→∞==；如果{,1}n A n ≥为单调减列，则1lim n in i A A∞→∞==.（5）（概率的连续性）若{,1}n A n ≥是递增或递减的事件列，则lim ()(lim )n n n n P A P A →∞→∞=定义1.3 设(,ΩF ，P ）为概率空间，B ∈F ，且()0P B >，如果对任意A ∈F ，记()(|)()P AB P A B P B =则称(|)P A B 为事件B 发生条件下事件A 发生的条件概率（conditional probability ）. 由条件概率的定义可得到： （1）乘法公式 设,A B ∈F ，则()()(|)P AB P B P A B =一般地，若i A ∈F ,1,2,,i n = ，且121()0n P A A A -> ，则121121312121()()(|)(|)(|)n n n P A A A P A P A A P A A A P A A A A --=（2） 全概率公式 设(,ΩF ，P ）是概率空间，A ∈F ，i B ∈F ,1,2,,i n =()i j B B i j =Φ≠，且1,()0,ni i i B P B ==Ω> ，则1()()(|)niii P A P B P A B ==∑（3） （Bayes 公式）设(,ΩF ，P ）是概率空间，A ∈F ，i B ∈F ,1,2,,i n =()i j B B i j =Φ≠，且1,()0,()0ni i i B P B P A ==Ω>> ，则1()(|)(|)()(|)i i i niii P B P A B P B A P B P A B ==∑一般地，若12,,,n A A A ∈ F ，有11()()nni ii i P A P A ===∏ , 则称F 为独立事件簇.1.2 随机变量及其分布随机变量是概率论的主要研究对象之一，随机变量的统计规律用分布函数来描述. 定义 1.4 设(,ΩF ，P ）为概率空间，()X X ω=是定义在Ω上的实值函数，如果对于任意实数x ，有()1(,]Xx --∞={}:()X x ωω≤∈F ，则称()X ω为F上的随机变量（random variable ），简记为..r v X .随机变量实质上是（,ΩF ）到(,R B ()R ）上的可测映射（函数），记1(){()|X XB B σ-=∈B ()R }⊂F ，称()X σ为随机变量X 所生成的σ域.称{}()1()():()((,])(,]F x P X x P X xP X x P Xx ωω-=≤=≤=∈-∞=-∞为随机变量X 的分布函数(distribution function )(简记.d f ).由定义，分布函数有如下性质：（1）()F x 为不降函数：即当12x x <时，有12()()F x F x ≤； （2）()lim ()0,x F F x →-∞-∞==()lim ()1x F F x →+∞+∞==；（3）()F x 是右连续的，即()()F x F x ο+=可以证明，定义在R 上的实值函数()F x ，若满足上述三个性质，必能作为某个概率空间(,ΩF ，P ）上某个随机变量的分布函数.推广到多维情形，类似可得到定义 1.5 设(,ΩF ，P ）为概率空间，()12()(),(),,()n X X X X X ωωωω== 是定义在Ω上的n 维空间n R 中取值的向量实值函数.对于任意12(,,,)n n x x x x R =∈ ，有{}1122:(),(),,()n n X x X x X x ωωωω≤≤⋅⋅⋅≤∈F ，则称()X X ω=为n 维随机变量，称12()(,,,)n F x F x x x P =⋅⋅⋅={}1122:(),(),,()n n X x X x X x ωωωω≤≤⋅⋅⋅≤为()12()(),(),,()n X X X X X ωωωω==⋅⋅⋅的联合分布函数.随机变量有两种类型：离散型随机变量和连续型随机变量，离散型随机变量的概率分布用概率分布列来描述：(),1,2,k k p P X x k === ，其分布函数为()k k x xF x p ≤=∑；连续型随机变量的概率分布用概率密度函数()f x 来描述，其分布函数为()()x F x f t dt -∞=⎰.类似地可定义n 维随机变量12(,,,)n X X X X = 的联合分布列和联合分布函数如下： 对于离散型随机变量12(,,,)n X X X X = ，联合分布列为()121122,,,n x x x n n p P X x X x X x ====其中,i i i x I I ∈为离散集，1,2,,i = n ，X 的联合分布函数为： 1,12,,121,2,,(,,,)(,,,)n i i nn x x n x y i n F y y y p y y y R ≤==⋅⋅⋅∈∑对于连续型随机变量12(,,,)n X X X X = ，如果存在n R 上的非负函数12(,,,)n f x x x ，对于任意12(,,,)nn y y y R ∈ ，有12(,,,)n X X X X = 的联合分布函数12121212(,,,)...(,,,)n y y y n n n F y y y f x x x dx dx dx -∞-∞-∞⋅⋅⋅=⋅⋅⋅⋅⋅⋅⎰⎰⎰12(,,,)n f x x x 为X 的联合密度函数.1.3 数学期望及其性质设()X X =⋅是定义在概率空间(,ΩF ，P ）上的.r v ，如果||X dP Ω<∞⎰，就称.r v .X的数学期望（expectation ）或均值存在（或称.r v .X 是可积的），记为E X ，有下列定义：EX XdP Ω=⎰利用积分变换，也可写成()EX xdF x +∞-∞=⎰.设()g x 是1R 上的B orel 可测函数，如果.r v .()g X 的数学期望存在，即|()|E g X <∞，由积分变换可知()()()()Eg X g X dP g x dF x +∞Ω-∞==⎰⎰设k 是正整数，若.r v .k X 的数学期望存在，就称它的k 阶原点矩（k th -moment aboutthe origin ），记为k α，即()kkk EXx dF x α+∞-∞==⎰设k 是正整数，若.r v .||k X 的数学期望存在，就称它的k 阶绝对原点矩（k th - absolute m o m e n tabout the origin ），记为k β，即 ||||()kkk E X x dF x β+∞-∞==⎰类似地，X 的k 阶中心矩（k th - central moment ）k μ和k 阶绝对中心矩（k th -absolutely central moment ）k υ分别定义为1()()()kkk E X EX x dF x μα+∞-∞=-=-⎰1||||()kkk E X EX x dF x να+∞-∞=-=-⎰我们称二阶中心矩为方差（variance ），记为V a r X 或D X ，显然有22221VarX μναα===-关于数学期望，容易验证下列的性质：（1）若.r v .X ，Y 的期望E X 和E Y 存在，则对任意实数,αβ，()E X Y αβ+也存在，且()E X Y EX EY αβαβ+=+（2）设A ∈F ，用A I 表示集A 的示性函数，若E X 存在，则()A E XI 也存在，且()A AE XI XdP =⎰（3）若{}k A 是Ω的一个划分，即()i j A A i j =Φ≠ ，且i iA Ω= ，则iA i EX XdP XdP Ω==∑⎰⎰关于矩的存在性，有如下的必要条件和充分条件定理1.1 设对.r v X 存在0p >，使||pE X <∞，则有lim (||)0px x P X x →∞≥=定理1.2 设对.r v X 0(.)a s ≥，它的.d f 为()F x ，那么E X <∞的充要条件是(1())F x dx ∞-<∞⎰此时EX =(1())F x dx ∞-⎰推论1.1 ||E X <∞的充要条件是0()F x dx -∞⎰与0(1())F x dx +∞-⎰均有限，这时有EX =(1())F x dx ∞-⎰()F x dx -∞-⎰推论 1.2 对于0,||pp E X <<∞<∞的充要条件是11(||)p n P X n ∞=≥<∞∑，也等价于11(||)p n nP X n ∞-=≥<∞∑1.4 特征函数和母函数特征函数是研究随机变量分布又一个很重要的工具，用特征函数求分布律比直接求分布律容易得多，而且特征函数有良好的分析性质.定义 1.6 设X 是n 维随机变量（随机向量），分布函数为()F x ，称()F x 的Fourier Stieltjes -变换()()(),itXitxg t E ee dF x t ∞-∞==-∞<<∞⎰为X 的特征函数(characteristic function ).简记.c f从本质上看，特征函数是实变量t 的复值函数，随机变量的特征函数一定是存在的. 当X 是离散型随机变量，分布列(),1,2,k k p P X x k === ，则1()kitx k k g t ep ∞==∑当X 是连续型随机变量，概率密度函数为()f x ，则()(),itxg t ef x dx t ∞-∞=-∞<<∞⎰从定义，我们能够看出特征函数有如下性质： （1）(0)1;g =（2）（有界性）|()|1;g t ≤ （3）（共轭对称性）()();g t g t -=（4）（非负定性）对于任意正整数n 及任意实数12,,,n t t t 和复数12,,,n z z z ，有,1()0nk l k l k l g t t z z =-≥∑（5）（连续性）()g t 为n R 上一致连续函数；（6）有限多个独立随机变量和的特征函数等于各自特征函数的乘积，即随机变量12,,,n X X X 相互独立，12n X X X X =+++ 的特征函数为：12()()()()n g t g t g t g t =其中()i g t 为随机变量i X 的特征函数；（7）（特征函数与矩的关系）若随机变量X 的n 阶矩n EX 存在，则X 的特征函数()g t 可微分n 次，且当k n ≤时，有()(0)k k k g i EX =；（8）随机变量的分布函数由其特征函数唯一确定.定理1.3 (B ocher 定理) n R 上函数()g t 是某个随机变量特征函数当且仅当()g t 连续非负定且(0)1g =.定理1.4 （逆转公式） 设()F x 是随机变量X 的分布函数，相应的特征函数为()g t 若12,x x 为()F x 的连续点，则12211()()lim()2itx itx TT Tee F x F x g t dt itπ--→∞---=-⎰很显然，具有相同特征函数的两个分布函数是恒等的.由此还可推出一个事实：一个随机变量是对称的，当且仅当它的特征函数是实的. 事实上，由X 的对称性知X 和X -有相同的分布函数，根据定义()()()itX itXg t E e E eg t g t -===-=，也就是说()g t 是实的；反之，从()()()itX itXg t Ee g t g t Ee -===-=知X 和X -有相同的特征函数，因此，它们的分布函数相等，这说明X 是对称的.例1.1 设X 服从(,)B n p ，求X 的特征函数()g t 及2,,EX EX D X解 X 的分布列为{},1,0,1,2,,k k n kn P X k C p q q p k n -===-=()()()n nitxk k n kk it k n kit nnnk k g t eC p qCpe qpe q --=====+∑∑因此 0(0)()|itt d E X ig ipe qnp dt='=-=-+=22222202()(0)()()|it t d EXi g i pe q npq n p dt=''=-=-+=+故 22()D X EX EX npq =-= 例1.2 设~(0,1)X N ，求X 的特征函数()g t解 22()itx xg t edx ∞--∞=由于2222||||itx xxixe xe--=221||xx edx ∞--∞<∞⎰，可对上式两边求导，得2222()()itx xitx xg t ixedx e de∞∞---∞-∞'==-⎰2222()x x itx itx edx tg t ∞∞---∞-∞=--=-于是得到微分方程 ()()g t t g t '+=. 这是变量可分离型方程，有()()dg t tdt g t =-两边积分得 2l n ()2g t tc=-+，得方程的通解为 22()tcg t e -+=.由于(0)1g =，因此，0c =.于是X 的特征函数为22()tg t e -=例1.3 设,X Y 相互独立，~(,),~(,)X B n p Y m p ，证明：~(,)X Y n m p ++ 证明 ,X Y 的特征函数分别为()(),()(),1itnitmX Y g t q pe g t q pe q p =+=+=-X Y +的特征函数为()()()(),1it n mX Y X Y g t g t g t q pe q p ++==+=-即X Y +的特征函数是服从参数为,n m p +二项分布的特征函数，由唯一性定理~(,)X Y n m p ++附表一给出了常用分布的均值、方差和特征函数.在研究只取非负整数值的随机变量时，以母函数代替特征函数比较方便.定义1.7 设随机变量X 的分布列为(),0,1,2,k p P X k k === 其中01k k p ∞==∑，称()()kk k k P s E s p s ∞===∑为X 的母函数（或称概率生成函数）（p r o b a b i l i t y generating function ）.母函数具有下列性质：（1）非负整数值随机变量的分布列由其母函数唯一确定； （2）(1)1P =，()P s 在||1s ≤绝对且一致收敛；（3）若随机变量X 的l 阶矩存在，则可以用母函数在1s =的导数值来表示，特别地， 有2(1),(1)(1)EX P EXP P ''''==+；（4）独立随机变量之和的母函数等于母函数的积.证明 （1）01(),0,1,2,nkkkk k k k k k n P s p s p s p s n ∞∞===+==+=∑∑∑两边对s 求n 阶导数，得到()1()!(1)(1)n k nn k k n Ps n p k k k n p s∞-=+=+--+∑令0s =，则()(0)!n n p n p =，因此()(0),0,1,!n n pp n n ==（3）由0()kk k P s p s ∞==∑，得到11()k kk P s kps∞-='=∑，令1s ↑，得到1(1)kk EX kpP ∞='==∑，类似可得到 2(1)(1)E X PP '''=+ 例1.4 从装有号码为1,2,3,4,5,6的小球的袋中，有放回地抽取5个球，求所得号码总和为15的概率.解 令i X 为第i 次取得的小球的号码，且i X 相互独立，125X X X X =+++ 为所取的球的号码的总和.i X 的母函数为261()()6i P s s s s =+++X 的母函数为 5265655551()()(1)(1)66s P s s s s s s -=+++=--所求概率为()P s 展开式的15s 的系数，因此，5651{15}6P X ==1.5 随机变量列的收敛性定义 1.8设{},;1n X X n ≥概率空间(,ΩF ，P ）上随机变量，如果存在集A ∈F ，()0P A =，当cA ω∈时，有lim ()()n n X X ωω→∞=，则称n X 几乎处处收敛（convergencealm ost everywhere ）到X ，简称n X ..a s 收敛到X ，记为n X X → ..a s下面我们给出..a s 收敛的一个判别准则.定理1.5 n X X → ..a s 的充分必要条件是任一ε>0，有lim (||)0m n m n P X X ε∞→∞=⎧⎫-≥=⎨⎬⎩⎭下面给出定理1.3的一个应用.例1.5 设{}n X 是..r v 列，且11()()2n n n P X n P X n +===-=，1111122n n n P X P X n n ⎧⎫⎧⎫⎛⎫===-=-⎨⎬⎨⎬ ⎪⎩⎭⎩⎭⎝⎭对于给定的ε>0,考虑1n ε>，有 1(||)0,2m mm nm n P X n ε∞∞==⎧⎫≥≤→→∞⎨⎬⎩⎭∑，因此 0n X →，..a s定义1.9 设{},;1n X X n ≥概率空间(,ΩF ，P ）上随机变量,如果对任一0ε>，{}lim ||0n n P X X ε→∞-≥=则称n X 依概率收敛（convergence in probability ）到X ，简记Pn X X −−→. 由定义，n X 依概率收敛到X ，那么极限随机变量X ..a s 是唯一的.定义 1.10 设{},;1n X X n ≥概率空间(,ΩF ，P ）上随机变量,若||rn E X （0r >）存在，且lim ||0rn n E X X →∞-=，则称 n X r 阶平均收敛（convergence in mean oforder r ）到X ，特别地，当2r =时，称为均方收敛.定义1.11 设{},;1n X X n ≥概率空间(,ΩF ，P ）上随机变量，其分布函数序列()n F x 满足lim ()()n n F x F x →∞=在每个()F x 连续点处成立，则称n X 依分布收敛（convergence indistribution ）到X .简记dn X X −−→.这里()F x 为X 的分布函数.下面我们不加证明地给出几种收敛之间的关系.a sPn n X X X X −−→⇒−−→dn X X ⇒−−→⇓..k a s n X X −−→且11(||)2kn kk P X X ∞=-≥<∞∑⇑,r rn n X X X X '−−→⇒−−→ 0r r '<< 1.6 条件数学期望设,X Y 是离散型随机变量，对一切使{}0P Y y =>的y ，定义给定Y y =时，X 的条件概率为 {,}{|}{}P X x Y y P X x Y y P Y y ======；给定Y y =时，X 的条件分布函数为(|){|}F x y P X x Y y =≤=； 给定Y y =时，X 的条件期望为(|)(|){|}xE X Y y xdF x y xP Xx Y y =====∑⎰设,X Y 是连续型随机变量，其联合密度函数为(,)f x y ，对一切使()0Y f y ≥，给定Y y =时，X 的条件密度函数为(,)(|)()Y f x y f x y f y =；给定Y y =时，X 的条件分布函数(|){|}F x y P X x Y y =≤==(|)xf x y dx ⎰； 给定Y y =时，X 的条件期望定义为 (|)(|)(|)E X Y y x d F x y x f x y d x===⎰⎰由定义可以看出，条件概率具有无条件概率的所有性质.(|)E X Y y =是y 的函数，y 是Y 的一个可能值，若在Y 已知的条件下，全面考察X 的均值，需要用Y 替代y ，(|)E X Y y =是Y 的函数，显然，它也是随机变量，称为X 在Y 条件下的条件期望（conditional expectation ）.条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们列举以下性质：设,,X Y Z 为随机变量，()g x 在R 上连续，且,,,[()]EX EY EZ E g Y Z ⋅都存在. （1） 当X 和Y 相互独立时，(|)E X Y EX =； （2） [(|)]EX E E X Y =；（3） [()|]()(|)E g Y X Y g Y E X Y ⋅=； （4） (|)E c Y c =，c 为常数；（5） （线性可加性）[()|](|)(|)E aX bY Z aE X Z bE Y Z +=+ （,a b 为常数）； （6） 若0,X ≥则(|)0,..E X Y a s ≥ 下面只对（2）和（3）证明：证明 （2）离散型情况.设(,)X Y 的联合分布列为{,},,1,2,i j ij P X x Y y p i j ====则 [(|)](|){}jj j y E E X Y E XY y P Y y ===∑{|}{}ji i i j j y x x P X x Y y P Y y ⎡⎤====⎢⎥⎣⎦∑∑ {,}{}ji ii i j i y x x x P X x Y y P Xx EX ⎡⎤======⎢⎥⎣⎦∑∑∑由此可见，E X 是给定j Y y =时X 条件期望的一个加权平均值，每一项(|)j E X Y y =所加的权数是作为条件事件的概率，称(|){}jj j y EX E XY y P Y y ===∑为全期望公式.连续型情形：设(,)X Y 的联合密度函数为(,)f x y ，则[](|)(|)()(|)()Y Y E E X Y E X Y y f y dy xf x y dx f y dy ∞∞∞-∞-∞-∞⎡⎤===⎢⎥⎣⎦⎰⎰⎰(,)(,)x f x y d x d yx f x y dy d x∞∞∞∞-∞-∞-∞-∞⎡⎤⎡⎤==⎢⎥⎢⎥⎣⎦⎣⎦⎰⎰⎰⎰()X xf x dx EX ∞-∞==⎰(|)()Y EX E X Y y f y dy ∞-∞==⎰也称为全期望公式.全期望公式表明：条件期望的期望是无条件期望. （3）只需证明对任意使[]()|E g Y X Y y ⋅=存在的y 都有[]()|()(|)E g y X Y y g y E X Y y ⋅===因为[|](|)E X Y y xdF x y ∞-∞==⎰，因此，当y 固定时，[]()|()(|)()(|)E g y X Y y g y xdF x y g y xdF x y ∞∞-∞-∞⋅===⎰⎰()[|]g y E X Y y ==例1.6 设在某一天走进商店的人数是期望为1000的随机变量，又设这些顾客在该商店所花钱数都为期望为100元的相互独立的随机变量，并设一个顾客花钱数和进入该商店的总人数独立，问在给定的一天内，顾客们在该商店所花钱数的期望是多少？解 设N 表示这天进入该商店的总人数，i X 表示第i 个顾客所花的钱数，则N 个顾客所花的总数为1Ni i X =∑.由于 11|N N i i i i E X E E X N ==⎡⎤⎡⎤⎛⎫=⎢⎥ ⎪⎢⎥⎣⎦⎝⎭⎣⎦∑∑而 1111||N n n i i i i i i E X N n E X N n E X nEX ===⎡⎤⎡⎤⎡⎤=====⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦∑∑∑因此 11|,N i i E X N N E X =⎡⎤=⎢⎥⎣⎦∑[]111N i i E X E N E X E N E X =⎡⎤=⋅=⎢⎥⎣⎦∑由题设 11000,100EN EX == 于是11000100100000Ni i X ==⨯=∑即该天顾客花费在该商店的钱数的期望为100000元.。
