刘次华版 随机过程与噪声最终版

概率空间随机试验是概率论的基本概念，试验的结果事先不能准确地预言，但具有如下的三个特性：）可以在相同的条件下重复进行；每次试验的结果不止一个，但预先知道试验的所有可能的结果；每次试验前不能确定哪个结果会出现随机试验所有可能结果组成的集合称为这个试验的样本空间称为样本点或基本事件，称为必然事件，空集上的概率的概念和称为不可中的元素称为事件，样本空间或基本事件空间，记为的子集能事件由于事件是集合，故集合的运算（并、交、差、上极限、下极限、极限等）都适用于事件的所有子的某些子集）及其发生的可在实际问题中，我们不是对所有的事件（样本空间集）都感兴趣，而是关心某些事件（这样，便导致设是代数是一个集合，的某些子集组成的集合族，则，则）若）若能性大小（概率）定义如果第一章 预备知识）对两两互不相容事件（当中的元素）称为可测空间域）代数（为由定义易知：，则）若）），则）若设（）若定义上的实）是定义在是可测空间，（如果）任意）；时，）称为概率空间，）上的概率，是（的概率由定义易知：）；）一）为事，即概定义，如果对任意）是概率空间，设（）设，则率具有单调性；件则称）有值函数称为事件则称连续型随机变量数）描述，其分布函的概率分布用概率密度其分布函数，，，…离散型随机变量的概率分布用分布列描述：续型随机变量在应用中，常见的随机变量有两种类型：离散型随机变量和连量，其分布函数是）及其上的随机变上述三个性质，必存在一个概率空间（（，若具有）上实值函数可以证明，定义在）是右连续，即；（时，有）是非降函数：即当分布函数）具有下列性质：为随机变量的分布函数，是上的随机变量称，简记为随机变量上的实函数，如果对任意实数，则称设（定义）是概率空间是定义在分布函数来描述随机变量是概率论的主要研究对象，随机变量的统计规律用随机变量及其分布则称为独立事件族）是非降）是右连，其中维随机变量也有两种类型：离散型和连续在应用中，常见的，其联合分布函数为维随机变量）及其上的，必存在一个概率空间（可以证明，对于定义在上具有上述性质的实函数，，，…）对于中的任意区域（续的；）对于每个变元函数；对于每个变元维联合分布函数）具有下列性质：为）的联合分布函数，…，，…，…，则称）为维随机变量或维随机向量称对于任意上的是定义在维空间中取值的向量函数如果定义设（）是概率空间，下面我们讨论维随机变量及其概率分布常见随机变量的分布参见表则称度和则称价于其中价于…，）的联合概是随机向量其中式等｝是一族独立的连续型随机变量，如果是的任意可能值，式等｝是一族独立的离散型随机变量，如果是独立的，有设定义是一族随机变量，若对于任意的联合概率密）称为是连续型随机向量，，随机向量）的联合分布函数，，若存在定义在上的非负函数，对于任意（，其中是离散集，的联合分布函数对于离散型随机向量），其联合分布列为，都是离散型随机变量，则称是离散型随机向量若随机向量）的每个分量型的数学期望或均值上式右边的积分称为为的分布函数为定义设随机变量，则定义是随机变量，若设，则称为若是离散型随机变量，分布列，…，，积分则是连续型随机变量，概率密度为若的方差随机变量的数学期望是随机变量的取值依概率的平均随机变量的方差反映随机变量取值的离散程度一，则称是随机变量设定义，若机变量的某些特征值就够了分布函数却是相当麻烦的在实际问题中，我们有时只需要知道随随机变量的概率分布完全由其分布函数描述，但是如何确定随机变量的数字特征常是根据经验或具体情况来决定的独立性是概率中的重要概念在实际问题中，独立性的判断通率密度，）是随机变量的概率密度，）是）维随机变量（相关系数是常数；的协方差，而为的相关系数，则称不相关若表示之间的线性相关程度的大小随机变量的数学期望和方差具有如下性质：）若）的联合分布函数为维连续函数，则，其中）若，其中）若独立，则独立，则律和特征函数之间存在一一对应关系，因此在得知随机变量的特由于分布特征函数是研究随机变量分布律的一个重要工具特征函数、母函数和拉氏变换有关的证明可参考，则引理）若，则（单调收敛定理）若，则不等式）若是常数；为的特征函数为定义当））若随机变量可微分次，且当特征函数当则和复数）若…用特征函数求分布律比直接，…，，则存在，则的特征函数及任意实数），称（的复值函数，由于为此，我，故随机是相互独立的随机变量，则…，…的特征函数，是随机变量其中）的特征函数，有即对任意正整数是非负定函数时，有阶矩的）上一致连续）在（，（随机变量的特征函数具有下列性质：是连续型随机变量，概率密度为，是离散型随机变量，分布列变量的特征函数必然存在是实变量设随机变量的分布函数为们首先介绍特征函数求分布律容易得多，而且特征函数具有良好的分析性质征函数之后，就可以知道它的分布律因为所以以对于定义＝＝由性质知的分布列为解及的特征函数，求服从设例数的性质维随机变量的特征函数具有类似于一维随机变量的特征函为的特征函数，则称）是维随机变量，设维随机变量也可以定义特征函数…，相互独立，所以也相互独立，所是非负定函数我们只对（进行证明随机变量的分布函数由其特征函数唯一确定于是得微分方程式右端在积分号下求导，得对设例解这是可分离变量方程，有两边积分得故得方程的通解为，其的特征函数为设随机变量例，于是，所以的特征函数为由于），求数的特征的特征函数，则由例，求为任意实数，证明的特征函数知的特征函数由例知，为证设随机变量解设，则例，令常见随机变量的数学期望、方差和特征函数见表是非负整数值随机变量，分布列设定义研究非负整数值随机变量，母函数是非常方便的工具表的特征函数中为若量）由，，…！，故，则令阶导数，得上式两边对求的母函数）分别是其中），的母函数是与…独立的非负整数值随机变量，则）若…是相互独立且同分布的非负整数值随机变）独立随机变量之和的母函数等于母函数之和））＋）存在，则，）是）设存在，则的母函数，若非负整数值随机变量的分布列由其母函数唯一确定母函数具有以下性质：的母函数则称另一限定理知实际中许多随机变量服从或近似地服从正态分布方面，由中心极正态分布在概率论中扮演极为重要的角色维正态分布（元），故由式解 由条件知销售额的平均值服从，求商店的日松分布，又设每位额客所花的钱人的泊服从参数例设商店在一天的额客数）可得由公式（显然同理可证（式性质性质式中，为性质，布定义率密度为设义给定的条件分布函数为时，给定的条件概率为时，的，定是离散型随机变量，对一切使条件期望），，，则）是四维正态随机变量，设即正态随机变量的线性变换仍为正态随机变量正定，则设，若，则若为了应用的方便，下面，我们不加证明地给出常用的几个结论…，）），则可以证明，若的特征函数维正态分布，记作维正态随机变量或服从）是常向量，是对称矩阵，则称，若维随机变量）的联合概方面，正态分布具有良好的分析性质下面我们讨论维正态分的条件概率密度定义为，给定的条件期望为而给定时，，则对一切的条件分布函数为给定时，的条件期望定义为而给定时，的下的条件期望，则（式为是连续型随机变量，其联合概率密度为的若使的条件概率以外，现在的由此可见除了概率是关于事件是的一个可能值若在已知是条件下，全面地考虑代替定义与无条件的情况完全一样的函数，的均值，需要以）是随机变量在的函数，也是随机变量，称为条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质与性质 若随机变量的期望存在，则是离散型随机变量，则如果式为是连续型，具有概率密度如果式都是离散型随机变量证明与证明 我们仅对式我们看到，从是给定的条件期望的一时，所加的权是作为条件的事件个加权平均值，每一项为一个任意事件，的示性的概率设先对一个适当的随机变量取条件，不仅使我们能求得期望，也可以用这种方法计算事件的概率函数，则，记（）和为）的分布函数为设是相互独立的随机变量，其分布函数分别与例式我们有由（，所对任意的随机变量，）是一个二值随机变量显然为全不匹配这一事件，例张选票，其中得到而候选人是等可能的，证明：在计票过程中，始终领先始终领先得到最后一票的条件下，注意到，在票而得到条件下，可得类似的结果于是下面，我们用归纳法，对当时，成立，则当）证 记所求概率为件，我们有始终领先始终领先证毕（匹配问题）设有例每人随机地选一顶，求恰好有解记子这一事件，为第一个人没有选到自己的帽子这一事件，令为第一个人选到自己的帽个人选到自己帽子的概率个人，把他们的帽子混在一起后，式及归纳假设有时，由式时假设，结论为真进行归纳，证明在得到最后一票的张票的概率是一样的得到始终领先的概率与得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票得到最后一票以得到最后那张选票的候选人为条的票数始终领先的概率为假定选票的一切排列次序（选票问题）在一次选举中，候选人得到张选票，从而个人从）取条件我们得到，因为可以将多余的帽子则与有关）是由于现在顶帽子中各取一顶都不匹配顶帽子中的概率，其中有一个人的帽子不在这个互不相容的事件组成此事件由两个事件是都不匹配且多余的那个人（即前一个事件的概率是其帽子已给第一个人取走的那个人）未能选中多余的帽子（即第一个选取人的帽子），另一个事件是都不匹配但多余的人选取到了多余的帽子由于第二个事件的概率是我们有）式得看作为多余的人的于是，从（，于是由（或等价地由于）式得所以一般地，我们有个人，只有他们选中自己的帽子的概率为对于固定的其中因是其余匹配的概率是充分大时上式近似地等于当个匹配的概率种，所有恰有个人的选择法有个人从他们自己的那些帽子中选取但全不第二章 随机过程的概念与基本类型随机过程的基本概念为了预报该地区未来的气表示在时刻初等概率论研究的主要对象是一个或有限个随机变量（或随机向量），虽然有时我们也讨论了随机变量序列，但假定序列之间是相互独立的随着科学技术的发展，我们必须对一些随机现象的变化过程进行研究，这就必须考虑无穷个随机变量；而且解决问题的出发点不是随机变量的的一次具体观测个独立样本，而是无穷多个随机变量这时，我们必须用一族随机变量才能刻划这种随通常我们称随机变量族为随机过程机现象的全部统计规律性在描述群体的发展或演变过群体的个数，则对每一个生物群体的增长问题表示在时刻是一个随机开始每隔假设我们从小时对群体的个数观测一次，是随机过程内接到的呼唤次数是，对于固定的某电话交换台在时间段有关的随机变量是一个取非负整数故的随机变量是随机过程表示某地区第次统计所得是随机变量在天气预报中，若以到的该天最高气温，则的统计规律性在海浪分析中，需要观测某固定点处海平面的垂直温，我们必须研究随机过程｛例设振动该处的海平面相对于平均海平面的高是随机变量，而度，则是随机过程以上例子说明，必须扩大概率论的研究范围，讨论随机过程的变量例程中，以则例与例值得注意的是参数可以指通常的时间，也可以指别的；当是给定的参数集，若）是概率空间，与之对应，则称随机变量族）上的随机过程，简记为随机过程是（通常表示时间称为参数集解释为一个物理系统）表通常将随机过程的所有可能状态所构成的集合所处的状态示系统在时刻称为状态空间或相空间，记为为了简单起见，我们以后总是向量时，则称此随机过程为随机场，）上的随机变量；为此，我们给出随机过程的一般定义设（有关性质定义，有一个随机变量对每个（是假设是定义在上的二元函数是（从数学的观点来说，随机过程对固定的上的普通函数，称为随机过程｛对固定是定义在的一个样本函数或轨道，样本函数的全体称为样本函数空间及状态空间是可列集或非可列集，可以把随机过程分为以下四种类型：都是可列的；非可列，可列，和根据参数情形）的随机过程也称为随机序列或｝表示显然例的情况是否可列外，还可以进一步根据参数集和状态空间可列，可列；非可列；都非可列可列（即，时间序列，一般用至例（即，　情形）的随机过程也称为可列过程分别对应于上述与状态空间随机过程的分类，除上述按参数集之间的概率关系进行分类，如独立增量过程，马尔科夫过程，平稳过程和鞅过程等随机过程的分布律和数字特征定义），…，…研究随机现象，主要是研究它的统计规律性个随机变量的统计规律性完全由它们的联合分布函数所刻划我们知道，有限由于随机变量可视为一族（一般是无穷多个）随机变量，我们是否也可以用一个无穷维联合分布函数来刻划其统计规律性呢？由概率论的理论可知，使用无穷维分布函数的方法是行不通的，可行的办法就是采用有限维分布函数族来刻划随机过程的统计规律性设是随机过程，对任意，随机向量（和的联合分布函数为这些分布函数的全体，…，，…，的有限维分布函数族称为的有限维分布函数族显然，随机过程具有如下性质：的任意排列｛）对称性 对于及满足存在定理）设已给参数集定理机过程的存在性定理要回答的问题作为有限维分布函数族的随机过程呢？这就是随定存在一个以是否一反之，对给定的满足对称性和相容性条件的分布函数族，…，…，…）时相容性当，，））；柯尔莫哥洛夫定理是随机过程理论的基本定理，它是证明随族是，则必存在概率空间（对称性和相容性条件的分布函数族，它的有限维分布函数）及定义在其上的随机过程值得注意的是存在性定理中的概率空机过程存在性的有力工具的构造并不唯）和，…来完整地描述，其中在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此，人们往往用随机过程的某些统计特征来取代随机过程常用的统计特征定义如下定义设是随机过程，如果对任意存在，则称函数间（机过程概率特征的完整描述柯尔莫哥洛夫定理说明，随机过程的有限维分布函数族是随由于随机变量的分布函数和特征函数的一一对应关系，随机过程的概率特征也可以通过随机过程的有限维特征函数族为的均值函数若对任意存在，则称为二阶矩过程，而称））的协方差函数）的方差函数的相关函数为为为由许瓦兹不等式知，二阶矩过程的协方差函数和相关函数一）即可要计算数字特征的一、二维概率密度，只仍为正态随机变量，要计算是相互独立的正态随机变量，故其线性组合解 由于与二维概率密度族的一、随机变量，求是相互独立的其中，设随机过程例＋＋与因为相互独立，故解 由数学期望的性质，求）和协方差函数的均值函数是相互独立的随机变量，且其中，＋例设随机过程和时的线性相关程度在时刻协方差函数）和相关函数）则反映随机过程方差函数）是随机过程在时刻对均值的偏离程度，而均值函数是随机过程的平均值，在时刻特别，当），则的均值函数））一定存在，且有下列关系在实际问题中，有时需要考虑两个随机过程之间的关系其中如，通信系统中信号与干扰之间的关系设函数和互相关函数来描述它们之间的线性关系定义程，则称是在的周期方波，和都是周期为，其中和设有两个随机过程例）显然有｝互不相关｝与，则称｛，有如果对任意｝的互相关函数与为｛的互协方差函数，称为与））｝是两个二阶矩过此时，我们采用互协方差例故随机过程的一、二维概率密度分别为其相关函数为），）的表达求互相关函数上服从均匀分布的随机变量解 由定义，利用式令例）为信号过程）的均值函数为）设，则）的周期性，我们有）和）为噪声过程令）＋＋＋）＋特别，若两个随机过程上式表明两个随机过程之和的相关函数可以表示为各个随机过程的相关函数与它们的互相关函数之和的均值函数恒为零且互不相关时，有及复数；由定义，易见）一复随机过程复随机过程的协方差函数具有如下重要性质定理有性质）对称性：）非负定性：对任意有具｝的协方差函数差函数、相关函数和协方差函数的定义如下：和｛当｝是二阶矩过程时，其均值函数、方，则称｛其中为复随机过程机过程，若对任意设定义是取实数值的两个随讨论复随机过程的概念和数字特征工程中，常把随机过程表示成复数形式来进行研究下面我们复随机过程互协方差函数定义为，的互相关函数定义为两个复随机过程数　）和相关的均值函数是常数，求）的随机变量，是相互独立的，且服从例设复随机过程，其中、正交增量过程定义意的则称事实上，不妨设故同理，当于是时，有时，有，则当，，取为有限区间，且规定由定义知，正交增量过程的协方差函数可以由它的方差确定为正交增量过程）），有设是零均值的二阶矩过程，若对任简单地介绍几种常用的随机过程的进行分类，也可以根据随机过程的概率结构进行分类下面我们随机过程可以根据参数空间，状态空间是离散的，还是非离散几种重要的随机过程假设设备二、独立增量过程｝是随机过程，若对任意的正整数设））是）是相互独立的，则称）独立增量过程，又称可加过程这种过程的特点是：它在任一个时间间隔上过程状态的改变，实际中，如不影响任一个与它不相重叠的时间间隔上状态的改变服务系统在某段时间间隔内的“顾客”数，电话传呼站电话的“呼是独立增量随机过程，若对任意）的分布仅依赖于，则称，）段更是平稳独立增量过程定义，随机变量和…叫”数等均可用这种过程来描述因为在不相重叠的时间间隔内，来到的“顾客”数，“呼叫”数都是相互独立的显然，正交增量过程不是独立增量过程；而独立增量过正交增量过程与独立增量过程都是根据不相重叠的时间区间上增量的统计相依性来定义的，前者增量是互不相关，后者增量是相互独立程只有在二阶矩存在，且均值函数恒为零的条件下是正交增量过程设定义），随机变量考虑一种设备（它可以是灯泡，汽车轮胎或某种电是平稳独立增量过程例，则相继换上的设备寿命是与子元件）一直使用到损坏为止，然后换上同类型的设备的使用寿命是随机变量，记作同，其中为第个设备的使用寿设分布的独立随机变量命）为在时间段内更换设备的件数，则对于任意）分别表示在时是随机过程）另外，对于任意换设备的件数，可以认为它们是相互独立的随机变量，所以，是独立增量过程的，故分布仅依赖于定义立增量过程纳过程和泊松过程都是平稳独立增量过程三、马尔科夫过程设由于正态过程的一阶矩和二阶矩存在，所以正态过程是二阶是正态过程或高斯过程量，则称）是维正态随机变和｝是随机过程，若对任意正整数设定义四、正态过程和维纳过程们将在第四章和第五章进行有关马尔科夫过程的进一步讨论，我是连续的，也可以是离散的可以和参数集，其状态空间马尔科夫过程状态的条件下，它将来所处的状态与过去所处的状态无关式说明，系统在已知现在所处处于状态示系统在时刻”表就是“过去”在”，则就是“未来”，而看作“现换句话说，若把而不管系统是如何到达现在的状态知系统的现在状态，则系统未来所处状态的概率规律性就已确定，它表示若已式称为过程的马尔科夫性（或无后效性）则称｛为马尔科夫过程，，…件分布及＞，且其条为随机过程，若对任意正整数平稳独立增量过程是一类重要的随机过程，后面将提到的维运动是大量分子的随机碰撞引起的，因此，是平稳独面上微粒位置的横坐标，则是随机过程由于微粒的例考虑液体表面物质的运动设）表示悬浮在液现代随机过程理论和应用中也有重要意义正态过程在随机过程中的重要性，类似于正态随机变量在概率中的地位这是由于在实际问题中，尤其是在电讯技术中正态过正态过程的一种特殊情形维纳过程，在程有着广泛的应用为维纳过程，也称布朗运动过程，）））（定义设为随机过程，如果，；它是独立、平稳增量过程；）对，增量）），则称设这类过程常用来描述布朗运动，通信中的电流热噪声等定理是参数为程，则（一）对任意）对任意特别，证（显然下证（，不妨设，则所以证毕，的维纳过（或相关函数，即可确定其有限维分布和协方差函数显然，正态过程只要知道其均值函数矩过程。

第2章 随机过程与噪声在通信系统中，信源发送的信号具有一定的不可预测性，或者说随机性。

信号在传输过程中会不可避免地遇到各种噪声和干扰，这些噪声也是不可预测的或随机变化的。

电磁波的传播受大气层的变化、地面地形的影响，也使接收的信号随机变化。

因此，通信中的信号和噪声都具有一定的随机性，需要借助随机过程的数学方法来描述。

本章介绍随机过程的基本概念、数字特征及噪声的表示方法，重点分析通信系统中几种重要随机过程的统计特性，以及随机过程通过线性系统的情况，这些内容对后面章节中分析通信系统的性能很有用。

2.1随机过程描述 2.1.1 随机过程概念随机过程是一类随时间作随机变化的过程，它不能用确切的时间函数描述。

通信系统中的信号和噪声是具有随机性的，通常称为随机信号，它们均可看作随时间参数t 变化的随机过程。

随机过程是时间t 的实函数，但是在某一时刻上观察到的值却是一个随机变量。

也就是说，随机过程可以看成是对应不同随机试验结果的时间过程的集合。

例如：设有n 部性能完全相同的通信机，它们的工作条件相同，如果用n 台相同的记录仪同时记录通信机输出热噪声电压波形，结果将发现，尽管测试设备和测试条件都相同，但是纪录的是n 条随时间起伏且各不相同的波形，如图2-1所示。

这就是说，接收机输出的噪声电压随时间变化是不可预测的。

测试结果的每一个记录，即图2-1中的一个波形，都是一个确定的时间函数x i (t),它称之为样本函数或随机过程的一个实现。

全部样本函数构成的总体│x 1(t),x 2(t),…,x n (t)│就是一个随机过程，记作()t ξ。

简言之，随机过程是所有样本函数的集合。

显然，把对接收机输出噪声波形的观察可看作是进行一次随机试验，每次试验之后，()t ξ取图2-1所示的所有可能样本中的某一样本函数，至于是哪一个样本，在进行观测之前是无法预测的，这正是随机过程随机性的表现。

随机过程的这种不可预测性或随机性还可以从另一个角度来理解，在任一观测时刻t 1上，不同样本的取值{}n i t x i ,...,2,1),(1=是一个随机变量，记作)(1t ξ。