数学期望的性质与条件期望(精选)

数学期望⽬录数学期望定义离散型随机变量ξ有分布列x1x2⋯x k⋯p1p2⋯p k⋯如果级数 ∑k x k p k绝对收敛，则记Eξ=∑k x k p k称为ξ的数学期望.定义连续型随机变量ξ有密度函数p(x) ，若∫+∞−∞|x|p(x)dx<∞ ，则称Eξ=∫+∞−∞xp(x)dx为ξ的数学期望.定义随机变量ξ有分布函数F(x) ，若∫+∞−∞|x|dF(x)<∞ ，则称Eξ=∫+∞−∞xdF(x)为ξ的数学期望.设ξ为随机变量，η=f(ξ) ，则Eη=∫+∞−∞f(y)dFξ(y)当ξ连续时有密度函数p(x) ，则Eη=∫+∞−∞f(y)p(y)dy随机变量ξ,η独⽴同分布当且仅当对任意有界连续函数f有Ef(ξ)=Ef(η) .条件期望定义设ξ=x时，η的条件分布函数为Fη|ξ(y|x) ，则条件期望为E(η|ξ=x)=∫+∞−∞ydFη|ξ(y|x)若有条件分布列pη|ξ(y j|x) ，则E(η|ξ=x)=∑j y j pη|ξ(y j|x)若有条件密度函数pη|ξ(y|x) ，则E(η|ξ=x)=∫+∞−∞ypη|ξ(y|x)dy显然，若ξ,η相互独⽴，则E(η|ξ=x)=Eη .定理条件期望E(η|ξ=x) 可看作是x的函数，记为m(x) ，则m(ξ) 是随机变量，称m(ξ) 为已知ξ时η的条件期望，记为E(η|ξ) ，从⽽条件期望的数学期望有E[E(η|ξ)]=EηProof.利⽤期望定义m(x)=E(η|ξ=x)=∫+∞−∞ypη|ξ(y|x)dy=∫+∞−∞y p(x,y) pξ(x)dy则有E[E(η|ξ)]=E(m(ξ))=∫+∞−∞m(x)pξ(x)dx代⼊即证；直观上，E(η|ξ) 为在给定的ξ下的η的期望，它是ξ的函数，再求期望时，实际上是对所有的ξ求η的期望.全期望公式当ξ为离散型随机变量，记p i=P(ξ=x i) ，则Eη=∑i p i E(η|ξ=x i)[] Loading [MathJax]/jax/element/mml/optable/BasicLatin.js它是上⾯等式的直接推导.性质加法性质：Eξ1,⋯,Eξn存在，则∀c1,⋯,c n及b，有En∑i=1c iξi+b=n∑i=1c i Eξi+b乘法性质：若ξ1,⋯,ξn相互独⽴，Eξ1,⋯,Eξn存在，则E(ξ1⋯ξn)=Eξ1⋯Eξn有界收敛定理：设∀ω∈Ω有lim，且\forall n\ge 1,\ |\xi_n|\le M，则\lim_{n\to\infty}E\xi_n = E\xiE(h(\xi)\eta|\xi) = h(\xi)E(\eta|\xi) .柯西-施⽡茨不等式：|E(XY|Z)|\le \sqrt{E(X^2|Z)}\cdot \sqrt{E(Y^2|Z)} .⽅差定义称\xi-E\xi为\xi关于均值E\xi的离差，若E(\xi-E\xi)^2存在有限，则称其为\xi的⽅差，记作Var\xi或D\xiVar\xi = E(\xi-E\xi)^2 = E\xi^2 - (E\xi)^2为了统⼀量纲，有时使⽤标准差\sqrt{Var\xi} .切⽐雪夫不等式若⽅差存在，则\forall \epsilon>0，有P(|\xi-E\xi|\ge\epsilon)\le\dfrac{Var\xi}{\epsilon^2}Proof.⾮常巧妙的放缩法\begin{aligned} P(|\xi-E\xi|\ge\epsilon) &= \int_{|x-E\xi|\ge\epsilon}dF(x)\\ &\le \int_{|x-E\xi|\ge\epsilon}\dfrac{(x-E\xi)^2}{\epsilon^2}dF(x)\\ &\le \int_{-\infty}^{+\infty}\dfrac{(x-E\xi)^2}{\epsilon^2}dF(x)\\ &= \dfrac{1}{\epsilon^2}\int_{-\infty}^{+\infty}(x-E\xi)^2dF(x)\\ &= \dfrac{Var\xi}{\epsilon^2} \end{aligned}切⽐雪夫不等式说明\xi离均值E\xi的距离，被⽅差所控制，即\xi落在(E\xi-\epsilon,E\xi+\epsilon)的概率⼤于1-\frac{Var\xi}{\epsilon^2} .性质Var\xi = 0 \Leftrightarrow P(\xi=c)=1；切⽐雪夫不等式的直接推论.Var(c\xi+b) = c^2Var\xi .Var\xi \le E(\xi-c)^2 .加法性质：Var\left(\sum_{i=1}^n\xi_i\right) = \sum_{i=1}^nVar\xi_i + 2 \sum_{1\le i<j\le n} Cov(\xi_i,\xi_j)若\xi_1,\cdots,\xi_n两两独⽴，则Var\left(\sum_{i=1}^n\xi_i\right) = \sum_{i=1}^nVar\xi_i此时Cov(\xi_i,\xi_j) = 0 .协⽅差定义设\xi_i,\xi_j有联合分布F_{ij}(x,y)，若E|(\xi_i-E\xi_i)(\xi_j-E\xi_j)|<\infty，称E(\xi_i-E\xi_i)(\xi_j-E\xi_j) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\xi_i)(y-E\xi_j)dF_{ij}(x,y)为\xi_i,\xi_j的协⽅差，记作Cov(\xi_i,\xi_j) .性质Cov(\xi,\eta) = Cov(\eta,\xi) = E\xi\eta-E\xi E\eta\begin{aligned} E(\xi-E\xi)(\eta-E\eta) &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-E\xi)(y-E\eta)dF(x,y)\\ &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(xy-xE\eta-yE\xi+E\xi E\eta)dF(x,y)\\ &= E\xi\eta - 2E\xi E\eta + E\xi E\eta = E\xi\eta - E\xi E\eta \end{aligned}加法性质：Cov\left(\sum_{i=1}^n\xi_i,\eta\right) = \sum_{i=1}^nCov(\xi_i,\eta)Cov(a\xi+c,b\xi+d) = abCov(\xi,\eta) .Cov(\xi,\eta) \le \sqrt{Var\xi}\sqrt{Var\eta} .Cov(a\xi+b\eta,c\xi+d\eta) = acCov(\xi,\xi) + (ad+bc)Cov(\xi,\eta) + bdCov(\eta,\eta) .协⽅差矩阵协⽅差矩阵的元素是随机向量各分量两两之间的协⽅差B = E(\xi-E\xi)(\xi-E\xi)^T = \left( \begin{matrix} b_{11} & b_{12} & \cdots & b_{1n}\\ b_{21} & b_{22} & \cdots & b_{2n}\\ \vdots & \vdots & \ddots & \vdots\\ b_{n1} & b_{n2} & \cdots & b_{nn}\\ \end{matrix} \right),\quad b_{ij} = Cov(\xi_i,\xi_j)容易看出B对称半正定.若有变换\eta = C\xi，则有EC(\xi-E\xi)(C(\xi-E\xi))^T = CBC^T为\eta的协⽅差矩阵.⼆维随机向量的协⽅差矩阵C = \left( \begin{matrix} Var\xi & E\xi\eta - E\xi E\eta\\ E\xi\eta - E\xi E\eta & Var\eta \end{matrix} \right)相关系数的计算r_{\xi,\eta} = \dfrac{Cov(\xi,\eta)}{\sqrt{Var\xi Var\eta}}相关系数为0则不相关.相关系数定义令\xi^* = (\xi-E\xi)/\sqrt{Var\xi},\ \eta^* = (\eta-E\eta)/\sqrt{Var\eta}，称r_{\xi\eta} = Cov(\xi^*,\eta^*) = E\xi^*E\eta^*为\xi,\eta的相关系数.柯西-施⽡茨不等式()任意随机变量\xi,\eta有|E\xi\eta|^2\le E\xi^2E\eta^2等式成⽴当且仅当\exists t_0,\ \mathrm{s.t.}\ P(\eta=t_0\xi) = 1 .Proof.考虑u(t) = E(\eta-t\xi)^2 = t^2E\xi^2-2tE\xi\eta+E\eta^2\ge 0，分析判别式即可.性质|r_{\xi\eta}| \le 1，并且当|r_{\xi\eta}| = 1，称\xi,\eta以概率1线性相关；若|r_{\xi\eta}| = 0，称\xi,\eta不相关.若⽅差有限，则有等价条件Cov(\xi,\eta) = 0\xi,\eta不相关E\xi\eta = E\xi E\etaVar(\xi+\eta) = Var\xi + Var\eta若\xi,\eta独⽴，且它们⽅差有限，则\xi,\eta不相关.对⼆元正态随机向量，两个分量不相关与独⽴等价.矩⽅差、协⽅差本质上都是对随机变量分布分离程度的度量，可以⽤矩的概念进⾏推⼴.原点矩：m_k=E\xi^k，称为k阶原点矩中⼼距：c_k = E(\xi-E\xi)^k，称为k阶中⼼矩绝对矩：M_{\alpha} = E|\xi|^{\alpha},\ \alpha\in\mathbb{R}，称为\alpha阶绝对矩。

§ 2.4 数学期望的定义及性质我们已经知道离散型随机变量的分布全面地描述了这个随机变量的统计规律,但在许多实际总是中,这样的全面描述有时并不使人感到方便.举例来说,已知在一个同一品种的母鸡群中,一只母鸡的年产蛋量是一个随机变量,如果要比较两个品种母鸡的年产蛋量通只要比较这两个品种的母的年产蛋量的平均值就可以了。

平均值大就意味着这个品种的母鸡产蛋量高，当然是较好的品种，这时如果不去比较它们的平均值，而只看它们的分布列，虽然全面，去合人不得要领，既难以掌握，又难以迅速地作出判断.这样的例子可以举出很多:例如要比较不同班级的学习成绩,通常就比较考试中的平均成绩;要比较不同地区的粮食收成,一般也只要比较平均亩产量等.既然平均值这么有用,那是值得花力气来研究一番的.例 2.13 (略) 见P 79例 2.14 若随机变量ξ服从二项分布),;(p n k b ,试求它的数学期望ξE 解 这时n k q p k n k P P k n k k ≤≤⎥⎦⎤⎢⎣⎡===-0,)(ξ所以k n k nk nk k q p k n k P k E -==⎥⎦⎤⎢⎣⎡⋅=⋅=∑∑00ξ)1()1(1011----=∑⎥⎦⎤⎢⎣⎡--=k n k nk q p k n nP np q p nP n =+=-1)( (2.22)例 2.15 (略)P 80定义 2.5 若离散型随机变量ξ可能取值为),,2,1( =i a i 其分布列为),,2,1( =i P i 则当∞<∑∞=1||i i ip a(2.24)时,称ξ存在数学期望,并且数学期望为∑∞==1i i i p a E ξ (2.25)如果∞=∑=i i ip a||1则称ξ的数学期望不存在.对于这个定义,读者也许会问,既然数学期望∑==1i ii pa E ξ,那么只要∑∞=1i ii pa 收剑就可以了,为什么还要求∞<∑∞=1||i i ip a是不是有点多余?我们已经知道,离散型随机变量的取值是可依某种次序一一列举的,对同一个随机变量,它的取值的列举次序可以有所不同,当改变列举次序时它的数学期望是不应该改变的,这就意味着无穷级数∑∞=1i ii pa 的求和次序可以改变而其和要保持不变,由无穷级数的理论知道,必须有∑∞=1i ii pa 绝对收剑即∞<∑∞=1||i i ip a,才能保证它的和不受求和次序变动的影响.定理 2.2 若ξ是一个离散型随机变量,其分布列为又g(x)是实变量x 的单值函数,如果∞<∑∞=1||i i ip a,则有∑∞==0)()(i i i p a g Eg ξ (2.26)证明 令),(ξηg =则η仍是一个离散型随机变量,设其可能取的值为)2,1( =j b j ,于是由(2.20)式有∑====ji b a g ij a P b P )()()(ξη由数学期望定义有∑∞====1)()(j i j b p b E Eg ηηξ∑∑=∞===ji b a g ij ja pb )(1)(ξ∑∑=∞===ji b a g iij a p a g )(1)()(ξ∑∞==⋅=1)()(i i i a p a g ξ即为所证类似还可以证下述定理.定理 2.3 若(ξ,η)是一个二维离散型随机变量,其联合分布列为2,1,,),(====j i p b a p ij j i ηξ又),(y x g 是实变量x,y 的单值函数,如果∞<∑∑∞=∞=11|),(|i j ijjipb a g则有∑∑∞=∞==11),(),(i j ij j i p b a g Eg ηξ (2.27)对一般的n 维随变量的函数,也有相应的定理成立,这里就不再叙述了.由于这些定理,在求离散型随机变量函数的数学期望时,就可以直接利用原来随机变量的分布,而不必先求随机变量函数的分布列.现在进一步讨论数学期望的性质.随机变量的数学期望具有下述基本性质:(1) 若b a ≤≤ξ,则ξE 存在,且有b E a ≤≤ξ.特别,若C 是一个常数,则EC=C. (2) 对于一二维离散型随机变量(ξ,η),若ξE ,ηE 存在,则对任意的实数),(,,2121ηξk k E k k 存在且ξξηξE k E k k k E 2121)(+=+ (2.28)(3) 又若ξ,η是相互独立的,则ξηE 存在且ηξξηE E E ⋅=)( (2.29)性质(1)的证明是显然的,下面证明性质(2)和(3). 设(ξ,η)的联合分布列和边际分布列为:,,,),(j i p b a P ij j i ===ηξ2,1,)(===⋅i P a P i i ξ 2,1,)(===⋅j P b P j j η由定理2.32有∑∑∞=∞=+=+112121)()(i j ij j i P b k a k k k E ηξ∑∑∑∑∞=∞=∞=∞=+=112111i j ij j i j ij i p b k p a k∑∑∞=⋅∞=⋅+=1211j j j i i i p b k p a kηξE k E k 21+=这里级数∑∑∞=∞=+1121)(i j ij j ip b k ak 绝对收剑是明显的,所以)(21ηξk k E +存在且(2.28)式成立,性质(2)证得.仍得用定理2.3并由独立性有ηξξηE E p b p a p b a E j j j i i i i j ij j i ∙=∙==∑∑∑∑∞=⋅∞=⋅∞=∞=1111)(这里级数∑∑∞=∞=11i j ij jip ba 的绝对收剑也是显然的,所以ξηE 存在且(2.28)式成立,性质(3)得证.性质(2)和(3)都可以推广到任意n 维随机变量的场合,当然,就性质(3)来说,要求这n 维随机变量是相互独立的.一个随机变量η,如果它的分布列是0---1分布:⎥⎦⎤⎢⎣⎡-p p 110则显然有ηE =⋅P例 2.14 (略)见P 87。

均值、方差和协方差的定义和基本性质1 数学期望（均值）的定义和性质定义：设离散型随机变量X 的分布律为{}, 1,2,k k P X x p k === 若级数1k k k xp ∞=∑绝对收敛，则称级数1k k k xp ∞=∑的和为随机变量X 的数学期望，记为()E X 。

即()1k k k E X x p ∞==∑。

设连续型随机变量X 的概率密度为()f x ，若积分()xf x dx ∞−∞⎰ 绝对收敛，则称积分()xf x dx ∞−∞⎰的值为随机变量X 的数学期望，记为()E X 。

即 ()()E X xf x dx ∞−∞=⎰ 数学期望简称期望，又称为均值。

性质：下面给出数学期望的几个重要的性质（1）设C 是常数，则有()E C C =；（2）设X 是一个随机变量，C 是常数，则有()()E CX CE X =；（3）设X 和Y 是两个随机变量，则有()()()E X Y E X E Y +=+，这一性质可以推广至任意有限个随机变量之和的情况；（4）设X 和Y 是相互独立的随机变量，则有()()()E XY E X E Y =。

2 方差的定义和性质定义：设X 是一个随机变量，若(){}2E X E X −⎡⎤⎣⎦存在，则称(){}2E X E X −⎡⎤⎣⎦为X的方差，记为()D X 或()Var X ，即性质：下面给出方差的几个重要性质（1）设C 是常数，则有()0D C =；（2）设X 是一个随机变量，C 是常数，则有()()2D CX C D X =，()()D X C D X +=；（3）设X 和Y 是两个随机变量，则有()()()()()()(){}2D X Y D X D Y E X E X Y E Y +=++−−特别地，若X 和Y 相互独立，则有()()()D X Y D X D Y +=+ （4）()0D X =的充分必要条件是以概率1取常数()E X ，即(){}1P X E X ==。

条件期望12条性质的证明考虑随机变量$X,Y,X_1,X_2,...on$ $L^1(\mathscr{X,A},\mathbb{P}),\mathscr{A_0 \sub A},f,g$为可积函数，则有：$X=c$ a.s. for $c\in R$ , 则有$E[X|\mathscr{A_0}]=c$ a.s.（都几乎处处为一个常数了，那么其条件期望也几乎处处等于这个常数）(a) $X$对$\mathscr{A_0}$可测, 则有$E[X|\mathscr{A_0}]=X$.(b) $\mathscr{A}_0=\mathscr{A},E[X|\mathscr{A_0}]=X$(c)$\mathscr{A_0}={\phi,\mathscr{X},E[X|\mathscr{A_0}]=E(X)}$(a), (b)都是很容易理解，事实上(b)可以由(a)推出，原因在于当$\mathscr{A_0=A}$时，就有$X$对$A_0$可测了.而为什么(a), (b)成立，可以回顾条件期望的定义，会发现$X$作为条件期望时满足条件期望的定义.但对于(c)我也不是很理解.If $X\leq Y a.s.$, 则有$E[X|\mathscr{A_0}]\leqE[Y|\mathscr{A_0}] a.s.$这个性质我没有太过思考，就是条件期望有类似于保序性的性质？If $a,b \in R$, 则有$E[af(x)+bg(Y)|\mathscr{A_0}]=aE[f(x)|\mathscr{A_0}]+bE[g(Y)|\ma thscr{A_0}]$这个性质说明了条件期望具有线性性，在运算的时候很有帮助.$E[E[X|\mathscr{A_0}]]=E(X)$, 推导一下：$E[E[X|\mathscr{A_0}]]=E[I_\mathscr{X}E[X|\mathscr{A_0}]]=E[I_\ mathscr{X}X]=E(X)$这个性质是双期望公式，非常有用，在各种定理证明时都经常用到.If $Y$对$\mathscr{A_0}$可测，且$E[\abs{XY}]<\infin$, 则有：$E[XY| \mathscr{A_0}]=YE[X|\mathscr{A_0}]$或者$E[h(T)f(X)|T]=h(T)E[f(x)|T]$.这个的推导其实我有点没能理解，到时候再拿出来写一下，如果有问题可以评论区问我怎么推导的.Jensen's inquality$\phi:(a,b)\rightarrow R$, 其为convex且有$-\infty\leq a<b\leq \infty$, $P(X\in(a,b))=1,E(\abs{\phi(X)})<\infty$,则有：这个和我们之前见过的Jensen's inquality没太大区别，都是要求凸函数. 我们还可以回想起，之前学过的Jensen's inquality等号成立当且仅当对$g(x)在x=EX处的切线l(x)=a+bx，有P(g(X)=a+bX)=1$.MCT(单调收敛定理):$X_n\leq X_{n+1} a.s., X=lim_{n\rightarrow\infty}X_n a.s.$，则有：$lim_{n\rightarrow\infty}E[X_n|\mathscr{A_0}]=E[X|\mathscr(A_0)]a .s.$单调收敛定理和控制收敛定理是在学习概率论时候非常重要的两个定理，在此处MCT对几乎处处都成立，而我们在学习期望的MCT时，有的只是如果$0\leq X_n\rightarrow X,则有E(X_n)\rightarrow E(X)$，即极限与期望可以交换顺序. 另外我们知道，收敛一定几乎处处收敛，故而条件期望的MCT对于收敛而言自然也是成立的.(1) DCT(控制收敛定理):若$X_n\rightarrow X$, 并且存在一个控制随机变量$Z\inL_1$使得$\abs{X_n}\leq Z$, 则有：$E[X_n]\rightarrow E(X)$且$E\abs{X_n-X}\rightarrow0.$上述写的并非是对于条件期望而言的DCT，只是写完MCT忍不住将DCT也写了一下，区别就在于如果我们不能确定$X$大于0和单调性的话，那么MCT就用不了了，只能用DCT找到一个控制随机变量来控制$X_n$的收敛.(2) DCT(控制收敛定理)：$\abs{X_n}\leq Y 对任意n成立，并且E(\abs{Y})<\infty，且X_n\rightarrow Xa.s.$，则$E[X_n|\mathscr{A_0}]\rightarrow E[X|\mathscr{A_0}] a.s.$可以看到，在此处也说明了DCT对几乎处处收敛成立.$E\abs{Y}<\infty$其实就是说明$Y\in L_1$Fatou's lemma:$0\leq X_n$对任意n都成立，则有：$E[\liminf_{n \rightarrow\infty}X_n|\mathscr{A_0}]\leq\liminf_{n\rightarrow\infty}E[X_n|\mathscr{A_0}]a.s.$Fatou's lemma也挺重要的，概率论考试里经常考到. 其实观察一下即可知道，其是由MCT推导得到的.ANOVA:$Var(X)=Var(E[X|\mathscr{A_0}])+E[Var[X|\mathscr{A_0}]]$ 这个也可叫做方差恒等式.For measuable $X,Y$ on $(\mathscr{X,A},P)$, 有：$E[YE[X|\mathscr{A_0}]]=E[XE[y|\mathscr{A_0}]]$这个的推导可以用到上述提到的性质，但是我在推导时也并不是很清晰.以上就是总结的条件期望的各种性质了，实际上对于数学期望的各种性质对于条件期望也是成立的.在此只不过是再总结了一下，感觉与条件期望更为相关的应该就是双期望公式以及方差恒等式，还有就是性质6和性质12. 另外一些性质我在此没有进行总结，因为感觉较为显然.最后提出一个性质，我不是很能理解$E[X|\mathscr{A_0}]=\int _0^\infty P(X>t|\mathscr{A_0} dt$。