第4章 随机过程的非线性变换

第四章 随机过程与时间序列分析§6 作业题⒈ 回归分析的一个基本要求是，对于线性模型∑=++=mj i ij i i x b a y 1ε其残差（residual ）为白噪声（white noise ）序列。

也就说，计算值和实测值的误差序列i i i yy ˆ-=ε 必须满足“独立”、“正态”和“等方差”等统计条件。

回归分析的所谓Durbin-Watson 检验，其实就是残差的独立性检验。

我们在第三章“多元统计分析”中曾经要求大家以某省连续18年的工、农业产值为变量进行多元回归和逐步回归分析（原始数据见作业2）。

现在，我们进行如下回归计算：⑴ 分别以工业产值(x 1)、农业产值(x 2)、固定资产投资(x 3)为自变量，以运输业产值(y )为因变量，进行一元线性回归；⑵ 以时间序号(t )为自变量，以固定资产投资额的倒数(1/y )为因变量，进行非线性回归（显然，结果为双曲线模型的一种）；⑶ 以工业产值、农业产值、固定资产投资为自变量，以运输业产值为因变量，进行多元线性回归。

全部回归的残差（residuals ）列于下表（表1）。

表1 各种回归的残差序列序号 x 1-x 2 x 1-x 3 x 1-y t-1/y 3 x-y 1 1.8847 -11.4412 -2.2061 -0.0037 -0.3146 2 0.2232 -15.8072 -5.1807 -0.0198 -0.2176 3 -2.9222 -5.5353 -9.0425 -0.0428 0.6326 4 -0.5139 -2.0795 -4.5693 -0.0308 0.3472 5 11.5936 1.8990 3.9900 0.0367 -0.3481 6 5.2598 1.3505 0.3079 0.0055 0.0083 7 7.5924 5.1649 1.7253 0.0315 0.0344 8 -0.1209 5.7740 -1.9531 0.0145 0.4480 9 -1.8105 6.0476 2.7023 0.0101 0.0177 10 -3.2535 5.2478 4.4178 0.0081 -0.1782 11 -9.4807 -1.8415 1.5240 0.0156 -0.1944 12 -9.1320 2.9700 0.3363 0.0182 0.1367 13 -7.6239 -4.0565 1.0108 0.0121 -0.2511 14 -5.6028 5.1055 5.2692 0.0130 -0.2558 15-2.238110.04328.95520.0022-0.400616 1.7334-1.6056-5.2665-0.02700.435517 4.64570.6693-1.1463-0.02100.1299189.7658-1.9049-0.8743-0.0224-0.0299要求：⑴对表1中的残差序列进行自相关（auto-correlations）分析，观察结果是否平稳、独立，抑或具有某种趋势性（由于时间序列较短，最大时滞可以设为10，即计算10个自相关系数值）。

高斯随机过程通过非线性系统非线性变换下的概率密度一般情形非线性函数关系，2ax y =输入呈高斯分布 输入呈瑞利分布 非线性函数关系，⎩⎨⎧<≥=0,00,x x bx y ： 输入呈高斯分布非线性变换下，随机过程的均值、矩一般情形均值 矩相关函数非线性函数关系，2ax y =输入呈高斯分布 输入呈瑞利分布 经过非线性函数关系，⎩⎨⎧<≥=0,00,x x bx y 之后， 输入呈高斯分布随机噪声通过平方律检波器输入是窄带实平稳随机过程，数学表达式随机过程)(t ξ经过非线性器件2ax y =之后，输出的相关函数高斯随机过程)(t ξ经过非线性器件2ax y =之后，输出的相关函数和功率谱矩形窄带实平稳高斯随机过程)(t ξ经过非线性器件2ax y =，输入输出的功率谱低通滤波器输出的功率谱。

信号加噪声通过平方律检波器一般情形数学表达式矩相关函数和功率谱输入信号加噪声，其中噪声是窄带实平稳高斯随机过程输出的相关函数和功率谱输入噪声是矩形带通窄带实平稳随机过程的调幅信号加噪声通过平方律检波器一般情形数学表达式相关函数和功率谱输入信号加噪声，其中噪声是窄带实平稳高斯随机过程 输出的相关函数和功率谱输入噪声是矩形带通窄带实平稳随机过程 输出的相关函数和功率谱半波整流器的研究一般情形数学表达式 矩相关函数和功率谱输入信号加噪声，其中噪声是窄带实平稳高斯随机过程 输出的相关函数和功率谱输入噪声是矩形带通窄带实平稳随机过程非线性变换下的概率密度非线性器件的输入输出关系：[])()(t x g t y =输入输出的概率分布特性：输入信号)(t ξ的分布：)()(;x P x F t r t ≤=ξξ输出信号)(t η的分布：如果输入输出关系是单调递增的))(())(()()(1;y g P y x g P y P y F t r t r t r t -≤=≤==≤=ξηηη如果输入输出关系是单调递减的))(())(()()(1;y g P y x g P y P y F t r t r t r t -≥=≥==≤=ξηηη输入信号的概率密度函数是：)(;x f t ξ输出信号的分布（如果输入输出关系是单调递增的、单调递减的）：[]yxy g x f y f t t ∂∂⋅==-)()(1;;ξη 非线性函数关系，2ax y =：输出的概率分布函数、概率密度函数[])()()(a y P a y P ay a y P y P t r t r t r t r -≤-≤=≤≤-=≤ξξξη[][]ay a y x f a y x f y f t t t 2)()()(;;;-=+==ξξη非线性函数关系，2ax y =：输入是高斯过程，均值为零，方差为2ξσ⎥⎥⎦⎤⎢⎢⎣⎡-=222;2exp 21)(ξξξσπσx x f t 输出的分布是，2exp 21)/()(22;;≥⎪⎪⎭⎫ ⎝⎛-==⋅∂∂=y a y ay a y x f yxy f t t ξξξησσπ00)(;<=y y f t η输入呈瑞利分布⎪⎩⎪⎨⎧<≥⎥⎥⎦⎤⎢⎢⎣⎡-=0,00,2exp )(222;x x x x x f t ξξξσσ输出的分布是，02exp 212exp /21)/()(2222;;≥⎪⎪⎭⎫ ⎝⎛-=⎪⎪⎭⎫ ⎝⎛-==⋅∂∂=y a y a a y ay ay a y x f y xy f t t ξξξξξησσσσ00)(;<=y y f t η非线性函数关系，⎩⎨⎧<≥=0,00,x x bx y ： 概率分布函数、概率密度函数,)()0()()/()(0,0)(/0;/;≥+≤==≤=≤<=≤⎰⎰∞-y dx x f P dxx f b y P y P y y P by tt r by tt r t r t r ξξξξηηb y U b y x f y P y f t t r t /)()/()()0()(;;⋅=+<=ξηδξ如果输入是窄带实平稳高斯随机过程，均值为零，⎥⎥⎦⎤⎢⎢⎣⎡-=222;2exp 21)(ξξξσπσx x f t 相应输出的概率密度函数是，b y U b y y y f t /)(2exp 212/)()(2222;⋅⎥⎥⎦⎤⎢⎢⎣⎡-+=ξξησπσδ非线性变换下，随机过程的均值、矩：输入输出的矩：输出的均值：[][][]{}[]{}⎰⎰∞∞-∞∞-⋅=⋅=dxx f t x gt E dxx f t x g t E t n nt)()()()()()(;;ξξηη输出的相关函数：[][][]⎰∞∞-⋅=dx t x t x f t x g t x g t t R t t )(),()()(),(21,21212121ξξηη非线性函数关系，2ax y =：输出的相关函数：[][][][])()()(),()()(),(1212221,21212121t t E a dxt x t x f t x g t x g t t R t t ξξξξηη=⋅=⎰∞∞-输出的n 阶矩：[][]n n n E a E 2ξη=高斯随机变量ξ经过非线性器件2ax y =之后，求输出η的n 阶矩：[][]13)12(22⋅-== n a E a E nn n n n ξσξη[][][]42422223ξξξσησησηa D a E a E === 瑞利随机变量ξ经过非线性器件2ax y =之后，求输出η的n 阶矩：[]nn nnna n dy a y a y dyy f yE 20220!2exp 21)(ξξξησσση⋅=⎥⎥⎦⎤⎢⎢⎣⎡-⋅=⋅=⎰⎰∞∞[][][]4242222ξξξσησησηa D a E a E === 经过非线性函数关系，⎩⎨⎧<≥=0,00,x x bx y 之后， 求输出η的n 阶矩[]⎰⎰∞∞∞-⋅=⋅=;;)()()(dxx f x b dyy f yt E t n n t nn ξηη求输出η的偶数（2m ）阶矩，且概率密度函数是偶函数[][])(2)(2)()(22;220;222t E b dxx f xb dx x f x bt E m m t mmt m mmξηξξ=⋅=⋅=⎰⎰∞∞-∞输出的相关函数：[]⎰⎰∞∞=002121,21221)(),()()(),(2121dx dx t x t x f tx t x bt t R t t ξξηη如果输入是窄带实平稳高斯随机过程，均值为零，[]135)12(2)(222⋅⋅-= m b t E mm mξση[]135)12(22!)(1212212⋅⋅-=+++ m b m t E m m m m ξσπη[]ξσπηb t E 21)(=[][][]{}()πσσπσηηηξξξ/11212121)()()(2222222-=⎪⎪⎭⎫ ⎝⎛-=-=b b b t E t E t D 随机噪声通过平方律检波器：分析方法信号数学表达式、均值、矩；经过非线性器件2ax y =之后，输出的相关函数、功率谱； 低通滤波器输出信号的功率谱密度。

《随机信号分析与处理》教学⼤纲《随机信号分析与处理》教学⼤纲（执笔⼈：罗鹏飞教授学院：电⼦科学与⼯程学院）课程编号：070504209英⽂名称：Random Signal Analysis and Processing预修课程：概率论与数理统计、信号与系统、数字信号处理学时安排：60学时，其中讲授54学时，实践6学时学分：3⼀、课程概述（⼀）课程性质地位本课程是电⼦⼯程、通信⼯程专业的⼀门学科基础课程。

该课程系统地介绍随机信号的基本概念、随机信号的统计特性分析⽅法以及随机信号通过系统的分析⽅法；介绍信号检测、估计、滤波等信号处理理论的基本原理和信息提取⽅法。

其⽬的是使学⽣通过本课程的学习，掌握随机信号分析与处理的基本概念、基本原理和基本⽅法，培养学⽣运⽤随机信号分析与处理的理论解决⼯程实际问题的能⼒，提⾼综合素质，为后续课程的学习打下必要的理论基础。

本课程是电⼦信息技术核⼼理论基础。

电⼦信息系统中的关键技术是信息获取、信息传输、信息处理，这些技术的理论基础就是随机信号的分析、检测、估计、滤波等理论，这正是本课程的主要内容。

因此，本课程内容是电⼦信息类应⽤型⼈才知识结构中不可或缺的必备知识。

⼆、课程⽬标（⼀）知识与技能通过本课程的学习，掌握随机信号分析与处理基本概念和基本分析⽅法。

内容包括：1.理解和掌握随机过程基本概念和统计描述；2.掌握随机过程通过线性和⾮线性系统分析⽅法3.理解和掌握典型随机过程的特点及分析⽅法；4.掌握参数估计的概念、规则和性能分析⽅法；5.掌握信号检测的概念、规则和性能分析⽅法；6.掌握⾼斯⽩噪声中最佳检测器的结构和性能分析。

通过本课程的学习，要达到的能⼒⽬标是：1.具有正确地理解、阐述、解释⽣活中的随机现象的能⼒，即培养统计思维能⼒；2.运⽤概率、统计的数学⽅法和计算机⽅法分析和处理随机信号的能⼒；3.初步具备雷达、通信、导航等技术领域的信号处理系统的分析、设计、仿真的科学研究能⼒；4.培养⾃主学习能⼒；5.培养技术交流能⼒（包括论⽂写作和⼝头表达）；6.培养协作学习的能⼒；（⼆）过程与⽅法依托“理论、实践、第⼆课堂”三个基本教学平台，通过课堂教学、概念测试、课堂研讨、案例研究、作业、实验、课程论⽂、⽹络教学等多种教学形式，采⽤研究型、案例式、互动研讨、基于团队学习、基于MATLAB的教学以及基于多媒体的教学等多种教学⽅法和⼿段，使学⽣加深对随机信号分析与处理的基本概念、基本原理以及应⽤的理解，并使学⽣通过⾃主学习、⼩组作业、案例研究、实验、课题论⽂等主动学习形式，培养⾃学能⼒和协同学习的能⼒，使学⽣不仅获得知识、综合素质得到提⾼。

第三章随机过程的线性变换在通信的和控制领域中，由于有用信号常常被噪声所污染，因而研究信号的传输和处理时，必然要涉及到研究随机噪声通过线性系统时的变换和处理，以便最有效地从噪声背景中提取有用信号。

此外，在科学试验中所遇到的各类随机过程往往都与系统相联系。

因此，要用统计方法来研究随机过程通过线性系统和非线性系统的变换问题。

本章重点讨论随机过程通过线性系统时的统计特征。

随机过程的非线性变换仅作简单介绍。

§ 3.1 随机过程变换的基本概念3.1.1 系统的描述及其分类系统可以定义为实现某种特性的要求而构成的集合。

它可以是很简单的，也可以是很复杂。

但从数学观点来看，系统的输出，只不过是系统对输入信号进行一定数学运算。

或者说，系统可以看作是由输入到输出的数学映象。

如果给定函数为系统输入，按照某些特定规则而指定与相对应的，新的函数作为输出，如图3.1所示，则可表示为图 3.1 系统模型3.1.1式中符号表示函数与之间相互对应的变换规则。

这个系统就由变换规则来定义。

假定系统输入时一随机过程，则输出必有一随机过程。

按照随机过程的概念，它可以看成是所有可能的诸样本函数的集合。

而对某一特定的试验结果所取得的样本函数，可以看成是时间的的确定函数。

而当系统的输出信号，即3.1.2而只是过程的一个组成部分，它与试验结果相对应，因此，系统对输入信号（过程）的响应和一般的确定性输入信号的相应是相同的。

输出过程的随机性由输入过程的试验结果来表征。

如果所讨论的系统是确定性的，则“”就是一个确定性的变换，而确定性系统是大家所熟知的，它可以分为线性时不变，非线性时不变，线性时变和非线性时变系统等等。

下面简略地讨论什么是确定性变换，什么是随机变换。

假定对两个试验结果和，当有 3.1.3则这种系统（变换）称为确定性系统，变换称为确定性变换。

假定对两个试验和，当有 3.1.4则这种系统是随机的，变换称为随机变换。

显然这种分类是基于系统末端特性来分的。

第四章 非线性回归模型的线性化以上介绍了线性回归模型。

但有时候变量之间的关系是非线性的。

例如 y t = α 0 + α11βt x + u t y t = α 0 t x e 1α+ u t上述非线性回归模型是无法用最小二乘法估计参数的。

可采用非线性方法进行估计。

估计过程非常复杂和困难，在20世纪40年代之前几乎不可能实现。

计算机的出现大大方便了非线性回归模型的估计。

专用软件使这种计算变得非常容易。

但本章不是介绍这类模型的估计。

另外还有一类非线性回归模型。

其形式是非线性的，但可以通过适当的变换，转化为线性模型，然后利用线性回归模型的估计与检验方法进行处理。

称此类模型为可线性化的非线性模型。

下面介绍几种典型的可以线性化的非线性模型。

4.1 可线性化的模型⑴ 指数函数模型y t = t t ubx ae + (4.1)b >0 和b <0两种情形的图形分别见图4.1和4.2。

显然x t 和y t 的关系是非线性的。

对上式等号两侧同取自然对数，得Lny t = Lna + b x t + u t (4.2)令Lny t = y t *, Lna = a *, 则y t * = a * + bx t + u t (4.3) 变量y t * 和x t 已变换成为线性关系。

其中u t 表示随机误差项。

010203040501234XY 1图4.1 y t =tt u bx ae+, (b > 0) 图4.2 y t =tt u bx ae+, (b < 0)⑵ 对数函数模型y t = a + b Ln x t + u t (4.4)b >0和b <0两种情形的图形分别见图4.3和4.4。

x t 和y t 的关系是非线性的。

令x t * = Lnx t , 则y t = a + b x t * + u t (4.5)变量y t 和x t * 已变换成为线性关系。

图4.3 y t = a + b Lnx t + u t , (b > 0) 图4.4 y t = a + b Lnx t + u t , (b < 0)⑶ 幂函数模型y t = a x t b t u e (4.6)b 取不同值的图形分别见图4.5和4.6。