依分布收敛与依概率收敛

中国科学院大学硕士研究生入学考试
《概率论与数理统计》考试大纲
本《概率论与数理统计》考试大纲适用于中国科学院大学非数学类的硕士研究生入学考试。

概率统计是现代数学的重要分支，在物理、化学、生物、计算机科学等学科有着广泛的应用。

考试的主要内容有以下几个部分：
概率统计中的基本概念
随机变量及其分布
随机变量的数学特征及特征函数
独立随机变量和的中心极限定理及大数定律
假设检验
点估计及区间估计
简单线性回归模型
要求考生对基本概念有深入的理解，能计算一些常见分布的期望、方差，了解假设检验、点估计及区间估计的统计意义，能解决一些经典模型的检验问题、区间估计及点估计。

最后，能理解大数定律及中心极限定理。

一、考试内容
（一）基本概念
1．样本、样本观测值
2．统计数据的直观描述方法：如干叶法、直方图
3．统计数据的数字描述：样本均值、样本方差、中位数事件的独立性、样本空间、事件
4．概率、条件概率、Bayes公式
5．古典概型
（二）离散随机变量
1．离散随机变量的定义
2．经典的离散随机变量的分布
a.二项分布
b.几何分布
c.泊松分布
d.超几何分布
3．离散随机变量的期望、公差
4．离散随机变量的特征函数
5．离散随机变量相互独立的概念
6．二维离散随机变量的联合分布、条件分布、边缘分布及二个离散随机变量的相关系数
（三）连续随机变量
1．连续随机变量的概念
2．密度函数
3．分布函数
4．常见的连续分布
a.正态分布。

对于一般人来说，大数定律的非严格表述是这样的：X_1,...,X_n是独立同分布随机变量序列，均值为u，S_n=X_1+...+X_n，则S_n/n收敛到u.如果说“弱大数定律”，上述收敛是指依概率收敛(in probability)，如果说“强大数定律”，上述收敛是指几乎必然收敛(almost surely/with probability one)。

大数定律通俗一点来讲，就是样本数量很大的时候，样本均值和真实均值充分接近。

这一结论与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石之一，重要性在本人看来甚至不弱于微积分。

（有趣的是，虽然大数定律的表述和证明都依赖现代数学知识，但其结论最早出现在微积分出现之前。

而且在生活中，即使没有微积分的知识也可以应用。

例如，没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量，从而应用于社会科学。

）最早的大数定律的表述可以追朔到公元1500年左右的意大利数学家Cardano。

1713年，著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。

不过当时现代概率论还没有建立起来，测度论、实分析的工具还没有出现，因此当时的大数定律是以“独立事件的概率”作为对象的。

后来，历代数学家如Poisson（“大数定律”的名字来自于他）、Chebyshev、Markov、Khinchin（“强大数定律”的名字来自于他）、Borel、Cantelli等都对大数定律的发展做出了贡献。

直到1930年，现代概率论奠基人、数学大师Kolgomorov才真正证明了最后的强大数定律。

下面均假设X, X_1,...,X_n是独立同分布随机变量序列，均值为u。

独立同分布随机变量和的大数定律常有的表现形式有以下几种。

初等概率论(1). 带方差的弱大数定律：若E(X^2)小于无穷，则S_n/n-u依概率收敛到0。

证明方法：Chebyshev不等式即可得到。

⼤数定律与中⼼极限定理⽬录随机变量序列的两种收敛性依概率收敛：设{X n}为⼀随机变量序列，X为⼀随机变量，若对于任意ϵ>0,有P(|X n−X|≥ϵ)→0(n→∞)则称序列{X n}依概率收敛于X，记作X n P →X依概率收敛的性质：若X n P →aY n P →b则：X n±Y n P→a±bX n Y n P→abX n÷Y n P→a÷b弱收敛（按分布收敛）：随机变量X,X1,X2…的分布函数为F(x),F1(x),F2(x)…，若对于F(x)的任意⼀个连续点x，有lim n→∞F n(x)=F(x)则称分布函数序列{F n(x)}弱收敛于F(x),记作F n(x)W→F(x)也称{X n}按分布收敛于X,记作X n L →X特征函数特征函数：设X是⼀个随机变量，则φ(t)=E(e itX)为X的特征函数。

常⽤分布的特征函数0-1分布：φ(t)=pe it+q泊松分布:φ(t)=∑e itx λk e−λk!=e−λ∑(λe it)kk!=eλ(e it−1)均匀分布:φ(t)=∫b ae itxb−a dx=e itb−e itait(b−a)标准正态分布:φ(t)=e−1 2t2证明：φ(t)=∫∞−∞e itx1√2πe−12x2dx=1√2π∫∞−∞∞∑n=0(itx)nn!e−12x2dx=∞∑n=0(it)nn![∫∞−∞x n1√2πe−12x2]dx=∞∑n=0(it)nn!E(X n)当n为奇数时，E(X n)=∫∞−∞x n1√2πe−12x2dx=0当n为偶数时，E(X n)=E(X2m)=∫∞−∞x2m1√2πe−12x2dx=1√2π∫∞−∞−x2m−1d(e−12x2)=1√2π(2m−1)∫∞−∞x2m−2e−12x2dx=(2m−1)(2m−3)…1∫∞−∞1√2πe−12x2dx=(2m−1)!!=2m!2m(m−1)!故φ(t)=∞∑m=0(it)2m(2m)!E(X2m)=∞∑m=0(it)2m(2m)!2m!2m(m−1)!=∞∑m=0(−t22)mm!=e−1 2t2指数分布的特征函数:φ(t)=(1−it λ)−1证明：φ(t)=∫∞0e itxλe−λx dx=λ[∫∞0cos(tx)e−λx dx+i∫∞0sin(tx)e−λx dx]I=∫∞0cos(tx)e−λx dx=∫∞01t e−λx dsin(tx)=λt∫∞sin(tx)e−λx dx=−λt2[−1+λ∫∞cos(tx)e−λx dx]=−λ2t2I+λt2故I=λλ2+t2φ(t)=λ(λλ2+t2+itλ2+t2)=λλ2+t2(λ+it)=λλ−it=(1−it λ)−1特征函数的性质|φ(t)|≤φ(0)=1证明:|φ(t)|=|∫e itx f(x)dx|≤∫|e itx|f(x)dx=1若Y=aX+b，则φY(t)=e ibtφX(at)证明：φY(t)=∫e it(ax+b)f(x)dx=e itb∫e itax f(x)dx=e ibtφX(at)若X和Y相互独⽴，则有φX+Y(t)=φX(t)φY(t)证明：E(e it(X+Y))=E(e itx e ity)=E(e itx)E(e ity)=φX(t)φY(t)若E(X l)存在，则X的特征函数l次可导，且对1≤k≤l有φ(k)(0)=i k E(X k)证明：φ(k)(t)=∫i k x k e ixt f(x)dx将t=0代⼊得φ(k)(0)=i k∫x k f(x)dx=i k E(X k)⼤数定律 概率是频率的稳定值，其中稳定是什么意思？⼤数定律详细的描述了这个问题。

第三讲 渐近理论初步（Basic elements of asymptotic theory ）在计量经济学研究中，对总体参数的推断、估计和检验是通过一个样本来进行的，而样本统计量如何随着样本发生改变也是我们所感兴趣的问题，特别是所构造的参数估计量是否会随着样本容量趋向无穷大而收敛于总体参数。

在前面的讲述中，我们讨论了OLS 估计量的有限样本特性，或称小样本特性，并证明了OLS 估计量具有无偏性、有效性，是总体参数的最佳线性无偏估计量，同时还证明了估计量服从精确的分布，并据以进行统计推断。

不过这些结论在满足经典假设条件下导出，而这些假设常常在实际中很难满足。

我们寻求样本容量趋于无穷大情况，估计量的统计特性及其渐近分布。

这就是本讲中要考虑的问题。

欲了解现代计量经济理论，首先要学习一些统计渐近理论，更进一步就是要对概率极限理论有一定的理解。

前苏联的概率论大师柯尔莫哥洛夫和格涅坚科曾如是说：“概率论的认识论价值只有通过极限定理才能被揭示，没有极限定理就不可能去理解概率论的基本概念的真正含义。

”简单可以将概率极限定理分成三种类型：（1）弱大数定律（WLLN ）、（2）强大数定律（SLLN ）、（3）中心极限定律（CLT ）。

计量经济学中的渐近理论内容非常广博，我们只在本讲中介绍其最基本的一些内容。

对于想深入了解渐近理论的同学推荐阅读White （2003）和Davidson （1994）的经典著作。

1四种随机收敛的概念及性质1.1依概率收敛（convergence in probability ）（1）定义对于随机变量序列 ,,,,21n X X X ，如果存在X 满足：0>∀ε，0}{lim =<-∞→εX X P n n就称序列},2,1,{ =n X n 依概率收敛于X 。

记作：X X Pn →，或X X P n n =∞→lim 。

我们将X 称为序列},2,1,{ =n X n 的概率极限。

依分布收敛与依概率收敛
依分布收敛与依概率收敛是概率论和统计学中的两个重要概念，常
用于描述随机变量序列的收敛性质。

下面分别介绍这两种收敛的定义
和特点。

依分布收敛：
所谓依分布收敛，是指随机变量序列逐渐趋向于某个分布的过程。

具
体而言，对于一组随机变量序列{Xi}和分布函数F(x)，如果对于任意
的x，当n趋向于无穷大时，有Fn(x)都趋向于F(x)，则称{Xi}依分布
收敛于分布函数F(x)，记作Xi~F(x)。

依分布收敛的特点是：
1. 收敛的结果是一个分布函数，可以通过累加分布函数来计算概率值。

2. 收敛的充分条件是连续的性质，具有普遍性。

3. 各种随机变量均可以进行依分布收敛。

依概率收敛：
依概率收敛是指随机变量序列以大概率趋近于某一常数的过程。

具体
而言，对于一组随机变量序列{Xi}和常数a，如果对于任意的小于等于ε（ε>0），有lim P(|Xi-a|>ε)=0，则称{Xi}依概率收敛于a，记作Xi→a （p）。

依概率收敛的特点是：
1. 收敛的结果是一个确定值，其概率趋向于1。

2. 收敛的充分条件是可测性的性质，具有更弱的条件限制。

3. 仅限于实数的随机变量序列（也可以进行有限维的推广）。

以上是依分布收敛与依概率收敛的定义和特点，两者之间存在差异，但都是表示随机变量序列逐渐趋向于某一结果的重要方法。

在实际应用中，需要根据具体问题和需求选择适合的方法进行处理。

中国科学院大学2019考研大纲803概率论与数理统计考研大纲频道精心为大家提供中国科学院大学2019考研大纲：803概率论与数理统计，更多考研资讯请关注的更新!中国科学院大学硕士研究生入学考试《概率论与数理统计》考试大纲本《概率论与数理统计》考试大纲适用于中国科学院大学非数学类的硕士研究生入学考试。

概率统计是现代数学的重要分支，在物理、化学、生物、计算机科学等学科有着广泛的应用。

考试的主要内容有以下几个部分：概率统计中的基本概念随机变量及其分布随机变量的数学特征及特征函数独立随机变量和的中心极限定理及大数定律假设检验点估计及区间估计简单线性回归模型要求考生对基本概念有深入的理解，能计算一些常见分布的期望、方差，了解假设检验、点估计及区间估计的统计意义，能解决一些经典模型的检验问题、区间估计及点估计。

最后，能理解大数定律及中心极限定理。

(一) 基本概念1. 样本、样本观测值2. 统计数据的直观描述方法：如干叶法、直方图3. 统计数据的数字描述：样本均值、样本方差、中位数事件的独立性、样本空间、事件4. 概率、条件概率、Bayes公式5. 古典概型(二) 离散随机变量1. 离散随机变量的定义2. 经典的离散随机变量的分布a. 二项分布b. 几何分布c. 泊松分布d. 超几何分布3. 离散随机变量的期望、公差4. 离散随机变量的特征函数5. 离散随机变量相互独立的概念6. 二维离散随机变量的联合分布、条件分布、边缘分布及二个离散随机变量的相关系数(三) 连续随机变量1. 连续随机变量的概念2. 密度函数3. 分布函数4. 常见的连续分布a. 正态分布b. 指数分布c. 均匀分布d. t分布e. c2分布5. 连续随机变量的期望、方差6. 连续随机变量独立的定义7. 二维连续随机变量的联合密度、条件密度、边缘分布及二个连续随机变量的相关系数8. 连续随机变量的特征函数(四) 独立随机变量和的中心极限定理和大数定律1. 依概率收敛2. 以概率1收敛(或几乎处处收敛)3. 依分布收敛4. 伯努利大数定律5. 利莫弗-拉普拉斯中心极限定理6. 辛钦大数定律7. 莱维-林德伯格中心极限定理(五) 点估计1. 无偏估计，克拉美-劳不等式2. 矩估计3. 极大似然估计(六) 区间估计1. 置信区间的概念2. 一个正态总体的期望的置信区间3. 大样本区间估计4. 两个正态总体期望之差的置信区间(方差已知)(七) 假设检验1. 检验问题的基本要素：第一类错误的概率、第二类错误的概率、检验的功效、功效函数、检验的拒绝域、原假设、备择假设2. 一个正态总体的期望的检验问题3. 大样本检验4. 基于成对数据的检验(t检验)5. 两个正态总体期望之差的检验(八) 简单线性回归模型1. 简单线性回归模型定义2. 回归线的斜率的最小二乘估计3. 回归线的截距的最小二乘估计4. 随机误差(随机标准差)的估计(一) 基本概念1. 理解样本、样本观测值的概念2. 了解并能运用统计数据的直观描述方法如：干叶法、直方图3. 理解样本均值、样本方差及中位数的概念并能运用相关公式进行计算4. 掌握如下概念：概率、样本空间、事件、事件的独立性、条件概率，理解并能灵活运用Bayes 公式5. 理解古典概型的定义并能熟练解决这方面的问题(二) 离散随机变量1. 理解离散随机变量的定义2. 理解如下经典离散分布所产生的模型a. 二项分布b. 几何分布c. 泊松分布d. 超几何分布能熟练计算上述分布的期望、方差，能熟练应用上述分布求出相应事件的概率3. 了解离散随机变量的特征函数的定义和性质4. 了解两个离散随机变量相互独立的概念5. 理解二维离散随机变量的联合分布、条件分布、边缘分布及两个离散随机变量的相关系数的概念并能熟练运用相关的公式解决问题(三) 连续随机变量1. 理解连续随机变量的概念2. 理解密度与分布的概念及其关系3. 熟悉如下常用连续分布a. 正态分布b. 指数分布c. 均匀分布d. t分布e. c2分布4. 了解连续分布的期望、方差的概念5. 了解有限个连续随机变量相互独立的概念6. 理解二维连续随机变量的联合密度、条件密度、边缘分布及二个连续随机变量的相关系数并能运用相关公式进行计算7. 了解连续随机变量的特征函数的概念及性质(四) 独立随机变量和的中心极限定理和大数定律1. 了解依概率收敛、以概率1收敛(或几乎处处收敛)、依分布收敛的定义，了解上述收敛性的关系2. 理解并掌握伯努利大数定律和利莫弗-拉普拉斯中心极限定理3. 了解辛钦大数定律、莱维-林德伯格中心极限定理(五) 点估计1. 理解无偏估计、矩估计、极大似然估计2. 能够计算参数的矩估计、极大似然估计(六) 区间估计1. 理解置信区间的概念2. 能够计算正态总体的期望的置信区间(包括方差已知、方差两种情况)3. 在样本容量充分大的条件下，能够计算近似置信区间4. 能够计算两个正态总体的期望之差的置信区间(方差已知)(七) 假设检验1. 理解以下概念：第一、二类错误的概率、检验的功效、功效函数、检验的拒绝域、检验的原假设、备择假设2. 能给出一个正态总体的期望的检验的拒绝域(包括方差已知、方差)3. 能用大样本方法求拒绝域4. 能给出基于成对数据的检验问题的拒绝域(八) 简单线性回归模型1. 理解简单线性回归模型定义，能写出模型的数学表达式2. 能计算回归线的斜率、截距的最小二乘估计3. 了解随机误差(随机标准差)的估计1. 陈希孺，概率论与数理统计，科学出版社，中国科技大学出版社， 19992. 盛骤，谢式千，潘承毅，概率论与数理统计，高等教育出版社(第三版)，xx3. 刘光祖，概率论与应用数理统计，高等教育出版社，2000编制单位：中国科学院大学编制日期：2018年7月10日内容仅供参考。

论文摘要概率是对大量随机现象的考察中显现出来的，而对于大量的随机现象的描述就要采用极限的方法。

概率统计中的极限定理研究的是随机变量序列的某种收敛性，对随机变量收敛性不同定义将导致不同的极限定理，而随机变量的收敛性的确可以有各种不同的定义。

主要讨论了依概率收敛与依分布收敛，r阶收敛与几乎处处收敛，几乎处处收敛与依概率收敛之间的关系。

给出了由依概率收敛推出几乎处处收敛的条件和由依概率收敛推出r阶收敛的条件，从而比较完全地说明了随机变量序列的各种收敛性之间的关系。

本论文将对随机变量的几种收敛作出较为简单扼要的介绍和讨论.论文结构如下：一、随机变量的几种收敛的概念理论；二、随机变量的几种收敛之间的关系；从以上几个方面对随机变量的几种收敛理论简明扼要地分析，说明随机变量序列收敛理论在实际问题中的应用范围之广，在实际生活中的重要性。

关键词：r阶收敛；几乎处处收敛；依概率收敛；依分布收敛。

AbstractThe Probability is the study of a large number of random phenomena emerge, but for a large number of random phenomena should use extreme methods described. Probability and statistics in the limit theorem is a sequence of random variables convergence, convergence of random variables with different definitions lead to different limit theorem, and indeed the convergence of random variables can have different definitions. Mainly discussed convergence in probability and convergence in distribution, convergence in order r and almost everywhere convergence, almost sure convergence and convergence in probability relationship. Convergence in probability is given by the launch of almost everywhere convergence of conditions and the convergence in probability by the introduction of r-order convergence conditions, which more completely describes the various random variables convergence relationship.This paper will make the convergence of several random variables is more brief presentations and discussions. Paper is structured as follows:1. Convergence of random variables the concept of theory;2. the convergence of several random variables between;From the above aspects of the theory of random variables of several brief analysis of convergence shows that the convergence theory of random variables in the actual problems in the wide range of applications, in real life importance.Keywords: convergence in order r ; almost everywhere or almost surely; convergence in probability; convergence in distribution.目录引言： (4)1 几种收敛性定义 (4)2 依概率收敛与依分布收敛的关系 (5)3 r阶收敛与几乎处处收敛的关系 (11)4 依概率收敛与r阶收敛的关系 (13)5 几乎处处收敛与依概率收敛和依分布收敛的关系 (17)总结 (19)四种收敛性 (19)四种收敛蕴涵关系 (19)致谢 (21)参考文献 (22)引言：概率论最早产生于17世纪，本来是保险事业的发展而产生的，但是来自于赌博者的请求，却是数学家们思考概率论中问题的源泉。

依概率收敛的理解
概率收敛是指随着样本容量的增加，一组随机变量序列的概率趋于某个固定的值。

具
体来说，假设我们有一组随机变量序列{x1, x2, ..., xn, ...}，而我们希望知道这个序
列的概率收敛情况，可以采用以下方式：
首先，我们定义一个目标随机变量Y，我们希望随着样本容量的增加，序列的概率趋
于Y。

具体地，我们定义概率极限lim P( |Xn - Y| > ε) = 0，其中ε是一个很小的正数，|Xn - Y|是Xn与Y的差的绝对值。

接下来，我们对序列进行研究，我们关注的是Xn的分布和期望。

如果序列Xn的期望
和方差都存在，且方差有限，那么我们可以应用切比雪夫不等式：
P( |Xn - E(Xn)| > ε ) ≤ Var(Xn)/ε^2
可以看出，假设ε是一个确定的正数，随着n的增加，Var(Xn)通常变小，则右侧的
表达式趋近于0，即概率P( |Xn - E(Xn)| > ε )趋近于0。

这是一种较弱的概率收敛情况。

如果Xn的分布是正态分布，我们还可以使用中心极限定理，即序列的和可以视为一组随机变量序列，其中每个随机变量是服从0均值单位方差的正态分布，利用这个定理，我
们可以得到：
概率收敛可以应用于很多问题，例如在大数定律中，当样本容量趋近于无穷大时，样
本均值的概率收敛到总体均值；在极大似然估计中，估计量的期望概率收敛于总体参数。

总体来说，概率收敛是一种可靠的数学方法，可以用来研究一组随机变量序列的收敛性质，为实际问题的解决提供了帮助。

依概率收敛和依分布收敛在概率论和数理统计中，依概率收敛和依分布收敛是两个重要的概念。

它们是用来描述随机变量序列的收敛性质的。

本文将详细介绍这两个概念的定义、特点及其在实际应用中的意义。

一、依概率收敛依概率收敛是指在概率意义下，随机变量序列Xn收敛于随机变量X的概率趋于1。

形式化的表示为：当n趋向于无穷大时，P(|Xn-X|>=ε)→0其中，ε>0是一个任意给定的正数。

以下是对这个定义的解释：- 在数学语言中，“P(|Xn-X|>=ε)”表示Xn与X之间的距离大于等于ε的概率。

- 在一般情况下，当n趋向无穷大时，Xn与X越来越接近，因此“P(|Xn-X|>=ε)”越来越小。

- 依概率收敛的定义是独立于分布的，也就是说，在随机变量的分布不同的情况下，只要满足上述条件，就可以说Xn依概率收敛于X。

二、依分布收敛依分布收敛是指当n趋向于无穷大时，随机变量序列Xn的分布函数Fn(x)收敛于X的分布函数F(x)。

形式化的表示为：当n趋向于无穷大时，Fn(x)→F(x)，对于F(x)的任意一个连续点x。

- 在数学语言中，“Fn(x)→F(x)”表示Fn(x)越来越接近于F(x)。

- 依分布收敛的定义是与随机变量的取值无关的，它只关注于随机变量的分布函数。

- 由于随机变量的分布可以是不同的，因此不能像依概率收敛那样简单地将它们放在一起比较，必须先将它们转换成分布函数的形式，然后再进行比较。

依概率收敛和依分布收敛是两种不同的收敛方式，但它们之间存在着一定的联系，可以通过下面的命题来描述它们之间的关系：如果随机变量序列Xn依概率收敛于随机变量X，则序列Xn也必定依分布收敛于X。

命题的证明需要使用Helly定理，这里不作赘述。

但需要注意的是，反过来则不成立，即随机变量序列Xn依分布收敛于随机变量X并不能推出Xn依概率收敛于X。

依概率收敛和依分布收敛可以用来判断概率极限定理的应用条件，从而给出概率极限的结果。