下载文档原格式
中⼼极限定理和⼤数定律⽬录依分布收敛定义若有⼀列分布函数 {F n} 和分布函数F，在F的每⼀个连续点，都有F n→F，则称F n弱收敛于F，记为F nω⟶F .定义若⼀列随机变量ξn的分布函数弱收敛于ξ的分布函数，则称ξn依分布收敛于ξ，记为ξnd⟶ξ .海莱第⼀定理若有⼀列分布函数 {F n} ，则存在单调不减右连续的函数F, 0≤F(x)≤1,x∈R 和⼦列 {F nk } ，使得对F的每⼀个连续点，都有F nk→F .海莱第⼆定理设有分布函数F，⼀列分布函数 {F n} ，F nω⟶F，若g(x) 在 R 上有界连续，则∫+∞−∞g(x)dF n(x)→∫+∞−∞g(x)dF(x)勒维连续型定理设有分布函数F，⼀列分布函数 {F n} ，若F nω⟶F，则相应的特征函数列 {fn(t)} 关于t在任何有限区间⼀致收敛于F的特征函数f(t) .逆极限定理设f n(t) 是分布函数F n(x) 的特征函数，如果对每个t,f n(t)→f(t) ，且f(t) 在t=0 连续，则f(t) ⼀定是某个分布函数F的特征函数，且F nω⟶F .例 4.1 ⽤特征函数法证明⼆项分布的泊松逼近定理.Proof.设ξn服从⼆项分布B(n,p) ，且lim，它的特征函数为f_n(t) = (p_ne^{it}+q_n),\ q_n = 1-p_n，则有\lim_{n\to\infty}f_n(t) = \lim_{n\to\infty}\left(1+\dfrac{np_n(e^{it}-1)}{n}\right)^n = e^{\lambda(e^{it}-1)}恰为泊松分布的特征函数，由逆极限定理即证.推论若有⼀列随机变量\xi_n和\xi，则下述等价\xi_n\stackrel{d}\longrightarrow\xi对任意有界连续函数，有Eg(\xi_n)\to Eg(\xi)对任意实数t有f_n(t)\to f(t)推论关于密度函数或分布列判断依分布收敛若对任意x,\ p_n(x)\to p(x)，则\xi_n\stackrel{d}\longrightarrow\xi若对任意j,\ p_n(x_j)\to p(x_j)，\xi_n\stackrel{d}\longrightarrow\xi性质若g(x)在\mathbb{R}上连续，则若\xi_n\stackrel{d}\longrightarrow\xi，有g(\xi_n)\stackrel{d}\longrightarrow g(\xi)若有常数列\{a_n\},\ \{b_n\}，有分布函数F，⼀列分布函数\{F_n\}，若a_n\to a,\ b_n\to b,\ F_n\to F，则$F_n(a_nx+b_n)\to F(ax+b)若\xi_n\stackrel{d}\longrightarrow\xi，则a_n\xi_n + b_n\stackrel{d}\longrightarrow a\xi +b中⼼极限定理德莫佛-拉普拉斯⽤S_n表⽰n重伯努利实验中成功的次数，设\Phi(x)为标准正态分布的分布函数，则\lim_{n\to\infty}P\left(\dfrac{S_n-np}{\sqrt{npq}}\le x\right) = \Phi(x)可以看出⼆项分布逼近正态分布，其中P(S_n=k) = b(k;n,p)也就是说，n次独⽴实验中成功\alpha<k\le\beta次的概率为P(\alpha<S_n\le\beta) = P\left(\dfrac{\alpha-np}{\sqrt{npq}}<\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{\beta-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{\beta-np} {\sqrt{npq}}\right) - \Phi\left(\dfrac{\alpha-np}{\sqrt{npq}}\right)需要注意这⾥是n个⼆项分布的累积，每个分布只有1次实验，类似于对分布的拆分：S_n本⾝是⼆项分布，但是这⾥将n次实验拆成了n个随机变量的累计.定义设有⼀列随机变量\xi_n，若有常数B_n>0,\ A_n使得\dfrac{1}{B_n}\sum_{k=1}^n\xi_k - A_n\stackrel{d}\longrightarrow N(0,1)则称\xi_n服从中⼼极限定理.林德贝格-勒维设\{\xi_n\}独⽴同分布，记S_n = \sum_{k=1}^n\xi_k,\ E\xi_1 = a,\ Var\xi_1 = \sigma^2，则中⼼极限定理成⽴，即\dfrac{S_n-na}{\sqrt{n}\sigma} \stackrel{d}\longrightarrow N(0,1)从⽽我们可以类似于上进⾏估计；特别的，当S_n是⼆项分布，有E\xi_1 = a,\ Var\xi_1 = pq .李雅普诺夫定理若\{\xi_n\}独⽴，存在常数\delta>0，使得\dfrac{1}{(\sum_{k=1}^nVar\xi_k)^{1+\delta/2}}\sum_{k=1}^nE|\xi_k-E\xi_k|^{2+\delta} \to 0则中⼼极限定理成⽴.依概率收敛由于两个不同的随机变量可以有相同的分布函数，故分布函数的收敛性不能反映随机变量序列取值之间的接近程度，因此需要引⼊另外的收敛性.定义设\xi,\ \xi_n,\ n\ge 0是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，若有\forall \epsilon > 0,\quad \lim_{n\to\infty}P(|\xi_n-\xi|\ge\epsilon) = 0则称\xi_n依概率收敛于\xi，记作\xi_n\stackrel{P}\longrightarrow \xi .设\xi,\ \xi_n,\ n\ge 0是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量若\xi_n\stackrel{P}\longrightarrow \xi，则\xi_n\stackrel{d}\longrightarrow\xi若\xi_n\stackrel{d}\longrightarrow c，其中c为常数，则\xi_n\stackrel{P}\longrightarrow c注意随机变量为c，则有分布列P(\xi=c) = 1，从⽽有分布函数F(x) = \left\{ \begin{aligned} &0,\quad x<c\\ &1,\quad x\ge c \end{aligned} \right.Loading [MathJax]/jax/element/mml/optable/BasicLatin.js马尔科夫不等式设\xi是定义在概率空间(\Omega,\mathcal{F},P)上的随机变量，f(x)是[0,\infty)上的⾮负单调不减函数，则有\forall x>0,\quad P(|\xi|>x)f(x) \le Ef(|\xi|)这⾥改写了不等式，注意到左边是⼀个类似于期望的格式，这样⽐较直观，事实上P(|\xi|>x)f(x) = \int_{|y|>x}f(x)dF(y) \le \int_{|y|>x}f(y)dF(y) \le \int_{\Omega}f(y)dF(y) = Ef(|\xi|)\xi_n\stackrel{P}\longrightarrow \xi当且仅当E\dfrac{|\xi_n-\xi|^2}{1+|\xi_n-\xi|^2} \to 0Proof.注意到f(x) = x^2/(1+x^2)⾮负单调不减，由上即证.弱⼤数定律伯努利⼤数定律设\{\xi_n\}独⽴同分布，P(\xi_n=1) = p,\ P(\xi_n=0) = 1-p,\ 0<p<1，记S_n = \sum_{i=1}^n\xi_i，则\dfrac{S_n}{n} \stackrel{P}\longrightarrow p设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的随机变量序列，若有常数列\{a_n\},\ \{b_n\}使得\dfrac{1}{a_n}\sum_{k=1}^n\xi_k - b_n \stackrel{P}\longrightarrow 0则称\{\xi_n\}服从弱⼤数定律.使⽤伯努利⼤数定律估计\xi_i\sim B(1,p),\quad S_n = \sum_{i=1}^n\xi_i则有估计P(S_n\le x) = P\left(\dfrac{S_n-np}{\sqrt{npq}}\le \dfrac{x-np}{\sqrt{npq}}\right) \approx \Phi\left(\dfrac{x-np}{\sqrt{npq}}\right)其中q=1-p .切⽐雪夫⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴随机变量序列，E\xi_n = \mu_n,\ Var\xi_n = \sigma_n^2，若有\sum_{k=1}^n\sigma_k^2/n^2\to 0，则称\{\xi_n\}服从弱⼤数定律，即\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0Proof.考虑\sum_{k=1}^n\xi_k/n，则E\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n}\sum_{k=1}^n\mu_k,\quad Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1}{n^2}\sum_{k=1}^n\sigma_k^2由切⽐雪夫不等式P\left(\left|\dfrac{1}{n}\sum_{k=1}^n(\xi_k -\mu_k)\right|\ge\epsilon\right) \le \dfrac{1}{\epsilon^2}Var\left(\dfrac{1}{n}\sum_{k=1}^n\xi_k\right) = \dfrac{1} {\epsilon^2n^2}\sum_{k=1}^n\sigma_k^2 \to 0即证.马尔科夫⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴随机变量序列，E\xi_n = \mu_n，若有Var(\sum_{k=1}^n\xi_k^2)/n^2\to 0，则称\{\xi_n\}服从弱⼤数定律，即\dfrac{1}{n}\sum_{k=1}^n\xi_k - \dfrac{1}{n}\sum_{k=1}^n\mu_k \stackrel{P}\longrightarrow 0证明是类似的，可以省去最后⼀步.⾟钦⼤数定律设\{\xi_n\}是定义在概率空间(\Omega,\mathcal{F},P)上的独⽴同分布随机变量序列，E|\xi_1|<\infty，记\mu=E\xi_1,\S_n=\sum_{k=1}^n\xi_k，则\{\xi_n\}服从弱⼤数定律，即\dfrac{S_n}{n} \stackrel{P}\longrightarrow \mu平均收敛设\xi,\ \xi_n,\ n\ge 1是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，E|\xi|^r<\infty,\ E|\xi_n|^r<\infty,\ n\ge1,\ 0<r<\infty，若E|\xi_n-\xi|^r \to 0则称\{\xi_n\}r阶平均收敛于\xi，记作\xi_n\stackrel{L_r}\longrightarrow\xi .强⼤数定律定义设\xi,\ \xi_n,\ n\ge 1是定义在同⼀概率空间(\Omega,\mathcal{F},P)上的随机变量，若存在\Omega_0\in\mathcal{F}使得P(\Omega_0) = 1，且对任意\omega\in\Omega_0有\xi_n(\omega)\to\xi(\omega)，则称\xi_n以概率1收敛或⼏乎必然收敛于\xi，记作\xi_n\to\xi\ \mathrm{a.s.}定义若有\Omega_0\in\mathcal{F}使得P(\Omega_0) = 1，且对任意\omega\in\Omega_0，\{\xi_n(\omega)\}是柯西基本列，即\xi_n(\omega)-\xi_m(\omega)\to 0，则称\xi_n以概率1是柯西基本列。
⼤数定律与中⼼极限定理⽬录随机变量序列的两种收敛性依概率收敛：设{X n}为⼀随机变量序列，X为⼀随机变量，若对于任意ϵ>0,有P(|X n−X|≥ϵ)→0(n→∞)则称序列{X n}依概率收敛于X，记作X n P →X依概率收敛的性质：若X n P →aY n P →b则：X n±Y n P→a±bX n Y n P→abX n÷Y n P→a÷b弱收敛（按分布收敛）：随机变量X,X1,X2…的分布函数为F(x),F1(x),F2(x)…，若对于F(x)的任意⼀个连续点x，有lim n→∞F n(x)=F(x)则称分布函数序列{F n(x)}弱收敛于F(x),记作F n(x)W→F(x)也称{X n}按分布收敛于X,记作X n L →X特征函数特征函数：设X是⼀个随机变量，则φ(t)=E(e itX)为X的特征函数。
常⽤分布的特征函数0-1分布：φ(t)=pe it+q泊松分布:φ(t)=∑e itx λk e−λk!=e−λ∑(λe it)kk!=eλ(e it−1)均匀分布:φ(t)=∫b ae itxb−a dx=e itb−e itait(b−a)标准正态分布:φ(t)=e−1 2t2证明：φ(t)=∫∞−∞e itx1√2πe−12x2dx=1√2π∫∞−∞∞∑n=0(itx)nn!e−12x2dx=∞∑n=0(it)nn![∫∞−∞x n1√2πe−12x2]dx=∞∑n=0(it)nn!E(X n)当n为奇数时，E(X n)=∫∞−∞x n1√2πe−12x2dx=0当n为偶数时，E(X n)=E(X2m)=∫∞−∞x2m1√2πe−12x2dx=1√2π∫∞−∞−x2m−1d(e−12x2)=1√2π(2m−1)∫∞−∞x2m−2e−12x2dx=(2m−1)(2m−3)…1∫∞−∞1√2πe−12x2dx=(2m−1)!!=2m!2m(m−1)!故φ(t)=∞∑m=0(it)2m(2m)!E(X2m)=∞∑m=0(it)2m(2m)!2m!2m(m−1)!=∞∑m=0(−t22)mm!=e−1 2t2指数分布的特征函数:φ(t)=(1−it λ)−1证明：φ(t)=∫∞0e itxλe−λx dx=λ[∫∞0cos(tx)e−λx dx+i∫∞0sin(tx)e−λx dx]I=∫∞0cos(tx)e−λx dx=∫∞01t e−λx dsin(tx)=λt∫∞sin(tx)e−λx dx=−λt2[−1+λ∫∞cos(tx)e−λx dx]=−λ2t2I+λt2故I=λλ2+t2φ(t)=λ(λλ2+t2+itλ2+t2)=λλ2+t2(λ+it)=λλ−it=(1−it λ)−1特征函数的性质|φ(t)|≤φ(0)=1证明:|φ(t)|=|∫e itx f(x)dx|≤∫|e itx|f(x)dx=1若Y=aX+b，则φY(t)=e ibtφX(at)证明：φY(t)=∫e it(ax+b)f(x)dx=e itb∫e itax f(x)dx=e ibtφX(at)若X和Y相互独⽴，则有φX+Y(t)=φX(t)φY(t)证明：E(e it(X+Y))=E(e itx e ity)=E(e itx)E(e ity)=φX(t)φY(t)若E(X l)存在，则X的特征函数l次可导，且对1≤k≤l有φ(k)(0)=i k E(X k)证明：φ(k)(t)=∫i k x k e ixt f(x)dx将t=0代⼊得φ(k)(0)=i k∫x k f(x)dx=i k E(X k)⼤数定律 概率是频率的稳定值，其中稳定是什么意思？⼤数定律详细的描述了这个问题。
概率论中的大数定律与中心极限定理概率论是数学中的一个重要分支，研究随机现象的规律性。
在概率论中，大数定律和中心极限定理是两个基本而又重要的概念。
本文将详细探讨这两个定律，并阐述它们在概率论中的应用。
一、大数定律大数定律是概率论中最为基本的定律之一。
它描述了在独立重复试验的条件下，随着试验次数的增加，随机事件的频率会趋于稳定，即其概率的长期平均值会趋于事件的真实概率。
大数定律可以分为弱大数定律和强大数定律两种形式。
弱大数定律是指在概率分布具有一定条件时，频率收敛到概率的几乎必然成立。
也就是说，如果一个事件发生的概率为p，那么当试验次数增加时，该事件发生的频率会趋于p。
这种定律的典型应用是频率稳定的硬币投掷问题。
当试验次数趋于无穷大时，正面朝上的频率会收敛于0.5，即硬币的正反面概率相等。
强大数定律是指在一般条件下，频率收敛到概率的几乎必然成立。
它比弱大数定律更为强大，可以涵盖更广泛的情况。
例如，当试验次数无限大时，独立同分布随机变量的均值收敛于其数学期望。
这种定律对于实际问题的应用更为广泛，可以用于解释一系列现象，如赌博、股票市场等。
二、中心极限定理中心极限定理是概率论中最为重要的定理之一。
它描述了当独立同分布随机变量的和的样本容量足够大时，这个和的分布会趋近于正态分布。
中心极限定理包括三种形式：李雅普诺夫定理、林德贝格-列维定理和棣莫弗-拉普拉斯定理。
李雅普诺夫定理是中心极限定理的一种形式，描述了独立随机变量和的分布趋近于正态分布的条件。
它要求随机变量具有有限的方差，并且样本容量足够大。
在实际应用中，李雅普诺夫定理可以用于描述大量相互独立事件的和的分布。
林德贝格-列维定理是中心极限定理的另一种形式，描述了独立同分布随机变量和的分布趋近于正态分布的条件。
与李雅普诺夫定理相比，林德贝格-列维定理的条件更为宽松，不再要求有限的方差。
这使得林德贝格-列维定理在实际应用中更为通用。
棣莫弗-拉普拉斯定理是中心极限定理的一种特殊情况，适用于二项分布。
大数定律与中心极限定理总结大数定律与中心极限定理是概率论与数理统计中的两个重要定理，用于描述随机变量序列的性质。
下面我将分别对这两个定理进行总结，并给出相关的参考内容。
一、大数定律大数定律是概率论中的一个基本定理，描述了随机变量序列的极限性质。
大数定律可以分为弱大数定律和强大数定律两种。
1. 弱大数定律弱大数定律是指对于一个随机变量序列，如果序列的均值存在，并且均值收敛于某个常数，那么这个序列就满足弱大数定律。
弱大数定律的代表是辛钦大数定律。
具体来说，如果一个随机变量序列X1, X2, ..., Xn，其中Xi是相互独立、同样分布的随机变量序列，它们的均值为μ，方差为σ^2。
那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - μ| ≤ ε ) = 1这意味着当样本数量趋向于无穷大时，样本均值的概率逼近于1，即样本均值趋近于总体均值μ。
2. 强大数定律强大数定律是指对于一个随机变量序列，如果序列的均值存在，并且均值以概率1收敛于某个常数，那么这个序列就满足强大数定律。
强大数定律的代表是伯努利大数定律和切比雪夫大数定律。
伯努利大数定律是对于一个独立随机变量序列X1, X2, ..., Xn，其中每个随机变量取值为0或1，概率为p或1-p，那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - p| ≤ ε ) = 1切比雪夫大数定律是对于一个独立随机变量序列X1, X2, ..., Xn，其具有相同的均值μ和方差σ^2，那么对于任意给定的正数ε，有：lim(n→∞)P( |X1+X2+...+Xn)/n - μ| ≤ ε ) = 1以上的大数定律说明了随机变量序列的均值具有稳定的性质，当样本数量足够大时，样本均值可以准确地反映总体均值。
二、中心极限定理中心极限定理是概率论与数理统计中的一个基本定理，描述了独立随机变量和的分布的极限性质。
大数定律与中心极限定理公式
大数定律和中心极限定理是概率论和统计学中的重要概念，它们描述了在大量重复实验或观察中随机变量的性质。
大数定律是指当试验次数趋于无穷时，随机变量的相对频率趋于其概率。
具体来说，如果一个随机变量序列{ξn, n ∈ N} 的期望存在且等于某个常数ξ，那么对于任意小的正数ε，当 n 趋于无穷时，P( ξn - ξ ≥ ε ) 趋于 0。
中心极限定理则是指无论随机变量 X1, X2,..., Xn 的分布是什么，只要 n 足
够大，那么它们的和 X1 + X2 + ... + Xn 除以 n 的标准化形式就会近似地
服从标准正态分布 N(0, 1)。
也就是说，对于任意x ∈ R，有limn→∞
P(∣∑i=1nxi−nμ∣≤xσn)=Φ(x)\lim_{n \to \infty}
P(\frac{\sum_{i=1}^{n}x_i-n\mu}{\sqrt{n\sigma^2}} \leq x) =
\Phi(x)limn→∞P(∣∣∑i=1nxi−nμ∣∣≤xnσ2)=Φ(x)，其中μ 是 X1, X2,...,
Xn 的期望，σ^2 是它们的方差，Φ(x)是标准正态分布 N(0, 1) 的分布函数。
这两个定理在统计学中有着广泛的应用，例如在样本均值的分布、样本比例的分布、回归分析等方面都有重要的应用。
