茆诗松概率论与数理统计教程

2004年7月第1版2008年4月第10次印刷第一章随机事件与概率1.1 随机事件及其运算1.1.1 随机现象在一定的条件下，并不总是出现相同结果的现象称为随机现象.在相同条件下可以重复的随机现象又称为随机试验.1.1.2 样本空间随机现象的一切可能基本结果组成的集合称为样本空间，记为，其中表示基本结果，又称为样本点.样本点是今后抽样的最基本单元.1.1.3 随机事件随机现象的某些样本点组成的集合称为随机事件，简称事件.1.1.4 随机变量用来表示随机现象结果的变量称为随机变量.1.1.7 事件域定义1.1.1 设为一样本空间，为的某些子集所组成的集合类.如果满足：(1)；(2)若，则对立事件；(3)若，则可列并.则称为一个事件域，又称为代数.在概率论中，又称为可测空间.1.2 概率的定义及其确定方法1.2.1 概率的公理化定义定义1.2.1设为一样本空间，为的某些子集所组成的一个事件域.若对任一事件，定义在上的一个实值函数满足：(1)非负性公理若，则；(2)正则性公理；(3)可列可加性公理若互不相容，有则称为事件的概率，称三元素为概率空间.第二章随机变量及其分布2.1 随机变量及其分布2.1.1 随机变量的概念定义2.1.1 定义在样本空间上的实值函数称为随机变量.2.1.2 随机变量的分布函数定义2.1.2 设是一个随机变量，对任意实数，称为随机变量的分布函数.且称服从，记为.2.1.4 连续随机变量的概率密度函数定义2.1.4 设随机变量的分布函数为，如果存在实数轴上的一个非负可积函数，使得对任意实数有则称为连续随机变量，称为的概率密度函数，简称为密度函数.密度函数的基本性质(1)非负性；(2)正则性.第三章多维随机变量及其分布3.1 多维随机变量及其联合分布3.1.1 多维随机变量定义3.1.1 如果定义在同一个样本空间上的个随机变量，则称为维(或元)随机变量或随机向量.3.1.2 联合分布函数定义3.1.2 对任意的个实数，则个事件同时发生的概率称为维随机变量的联合分布函数.3.4 多维随机变量的特征数3.4.5 随机向量的数学期望与协方差阵定义3.4.3 记维随机向量为，若其每个分量的数学期望都存在，则称为维随机向量的数学期望向量，简称为的数学期望，而称为该随机向量的方差—协方差阵，简称协方差阵，记为.例3.4.12(元正态分布) 设维随机变量的协方差阵为，数学期望向量为.又记，则由密度函数定义的分布称为元正态分布，记为.第四章大数定律与中心极限定理4.1 特征函数4.1.1 特征函数的定义定义4.1.1 设是一个随机变量，称为的特征函数.设是随机变量的密度函数，则4.2 大数定律4.2.1伯努利大数定律定理 4.2.1(伯努利大数定律) 设为重伯努利试验中事件发生的次数，为每次试验中出现的概率，则对任意的，有4.2.2 常用的几个大数定律4.3 随机变量序列的两种收敛性4.3.1 依概率收敛定义4.3.1(依概率收敛) 设为一随机变量序列，为一随机变量，如果对任意的，有则称依概率收敛于，记作.4.4 中心极限定理4.4.2 独立同分布下的中心极限定理定理 4.4.1(林德贝格—勒维中心极限定理) 设是独立同分布的随机变量序列，且.记则对任意实数有第五章统计量及其分布第六章参数估计第七章假设检验第八章方差分析与回归分析。

第6章 参数估计6.1 复习笔记一、点估计的概念与无偏性 1．点估计及无偏性（1）定义：设x 1，…，x n 是来自总体的一个样本，用于估计未知参数θ的统计量θ∧＝θ∧（x 1，…，x n ）称为θ的估计量，或称为θ的点估计，简称估计．（2）定义：设θ∧＝θ∧（x 1，…，x n ）是θ的一个估计，θ的参数空间为Θ，若对任意的θ∈Θ，有E θ（θ∧）＝θ，则称θ∧是θ的无偏估计，否则称为有偏估计．注意：①当样本量趋于无穷时，有E （s n 2）→σ2，称s n 2为σ2的渐近无偏估计，这表明当样本量较大时，s n 2可近似看作σ2的无偏估计．②若对s n 2作如下修正：则s 2是总体方差的无偏估计．这个量常被采用．③无偏性不具有不变性．即若θ∧是θ的无偏估计，一般而言，其函数g （θ∧）不是g （θ）的无偏估计，除非g （θ）是θ的线性函数．④并不是所有的参数都存在无偏估计，当参数存在无偏估计时，我们称该参数是可估的，否则称它是不可估的．22211()11nn i i ns s x x n n ===---∑2．有效性定义：设θ∧1，θ∧2是θ的两个无偏估计，如果对任意的θ∈Θ有Var （θ∧1）≤Var （θ∧2），且至少有一个θ∈Θ使得上述不等号严格成立，则称θ∧1比θ∧2有效．二、矩估计及相合性 1．替换原理和矩法估计 替换原理指：（1）用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩． （2）用样本矩的函数去替换相应的总体矩的函数．2．概率函数已知时未知参数的矩估计设总体具有已知的概率函数p （x ；θ1，…，θk ），（θ1，…，θk ）∈Θ是未知参数或参数向量，x 1，…，x n 是样本．假定总体的k 阶原点矩u k 存在，则对所有的j （0＜j ＜k ）u j 都存在，若假设θ1，…，θk 能够表示成u 1，…，u k 的函数θj ＝θj （u 1，…，u k ），则可给出θj 的矩估计：θ∧j ＝θj （a 1，…，a k ），j ＝1，…，k ，其中a 1，…，a k 是前k 阶样本原点矩进一步，如果我们要估计θ1，…，θk 的函数η＝g （θ1，…，θ∧k ），则可直接得到η的矩估计η∧＝g （θ∧1，…，θ∧k ）．注：当k ＝1时，我们通常可以由样本均值出发对未知参数进行估计；如果k ＝2，我们可以由一阶、二阶原点矩（或二阶中心矩）出发估计未知参数．11n jj ii a x n ==∑3．相合性定义：设θ∈Θ为未知参数，θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，n 是样本容量，若对任何一个ε＞0，有则称θ∧n 为参数θ的相合估计． 判断相合性的两个有用定理：（1）设θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，若则θ∧n 是θ的相合估计．（2）若θ∧n1，…，θ∧nk 分别是θ1，…，θk 的相合估计η＝g （θ1，…，θk ），是θ1，…，θk 的连续函数，则η∧＝g （θ∧n1，…，θ∧nk ）是η的相合估计．三、最大似然估计与EM 算法 1．最大似然估计定义：设总体的概率函数为P （x ；θ），θ∈Θ，其中θ是一个未知参数或几个未知参数组成的参数向量，Θ是参数空间，x 1，…，x n 是来自该总体的样本，将样本的联合概率函数看成θ的函数，用L （θ；x 1，…，x n ）表示，简记为L （θ），L （θ）＝L （θ；x 1，…，x n ）＝p （x 1；θ）p （x 2；θ）…p （x n ；θ）ˆlim ()0n n P θθε→∞-≥=ˆlim ()nn E θθ→∞=ˆlim ()0nn Var θ→∞=L （θ）称为样本的似然函数．如果某统计量θ∧＝θ∧（x 1，…，x n ）满足则称θ∧是θ的最大似然估计，简记为MLE ．注意：在做题时，习惯于由lnL （θ）出发寻找θ的最大似然估计，再求导，计算极值．但在有些场合用求导就没用，此时就需要从取值范围中的最大值和最小值来入手．2．EM 算法当分布中有多余参数或数据为截尾或缺失时，其MLE 的求取是比较困难的，这时候就可以采用EM 算法，其出发点是把求MLE 的算法分为两步：（1）求期望，以便把多余的部分去掉； （2）求极大值．3．渐近正态性最大似然估计有一个良好的性质：它通常具有渐近正态性．（1）定义：参数目的相合估计θ∧n 称为渐近正态，若存在趋于0的非负常数序列σn （θ），使得依分布收敛于标准正态分布．这时也称θ∧n 服从渐近正态分布N （θ，σn 2（θ）），记为θ∧n ～AN （θ，σn 2（θ）），σn 2（θ）称为θ∧n 的渐近方差．（2）定理：设总体x 有密度函数p （x ；θ），θ∈Θ，Θ为非退化区间，假定 ①对任意的x ，偏导数∂lnp/∂θ，对所有θ∈Θ都存在； ②∀θ∈Θ有|∂p/∂θ|＜F 1（x ），|∂2p/∂θ2|＜F 2（x ），|∂3lnp/∂θ3|＜F 3（x ）()()ˆmax L L θθθ∈Θ=()ˆn n θθσθ-其中函数F 1（x ），F 2（x ），F 3（x ）满足③∀θ∈Θ，若x 1，x 2，…，x n 是来自该总体的样本，则存在未知参数θ的最大似然估计θ∧n ＝θ∧n （x 1，x 2，…，x n ），且θ∧n 具有相合性和渐近正态性，该定理表明最大似然估计通常是渐近正态的，且其渐近方差σn 2（θ）＝（nI （θ））－1有一个统一的形式，其中，I （θ）称为费希尔信息量．四、最小方差无偏估计 1．均方误差（1）使用条件：小样本，有偏估计．（2）均方误差为：MSE （θ∧）＝E （θ∧－θ）2，常用来评价点估计． 将均方误差进行如下分解：MSE （θ∧）＝E[（θ∧－E θ∧）＋（E θ∧－θ）]2＝E （θ∧－E θ∧）2＋（E θ∧－θ）2＋2E[（θ∧－E θ∧）1()d F x x ∞-∞<∞⎰2()d F x x ∞-∞<∞⎰3sup ()(;)d F x p x x ∞-∞∈Θ<∞⎰θθ()()2ln 0;d p p x x ∞-∞∂⎛⎫<I =<∞ ⎪∂⎝⎭⎰θθθ1ˆ~(,)()nAN nI θθθ（E θ∧－θ）]＝Var （θ∧）＋（E θ∧－θ）2由分解式可以看出均方误差是由点估计的方差与偏差|E θ∧－θ|的平方两部分组成．如果θ∧是θ的无偏估计，则MSE （θ∧）＝Var （θ∧）．（3）一致最小均方误差设有样本x 1，…，x n ，对待估参数θ有一个估计类，如果对该估计类中另外任意一个θ的估计θ~，在参数空间Θ上都有MSE （θ∧）≤MSE （θ~），称θ∧（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计．2．一致最小方差无偏估计定义：设θ∧是θ的一个无偏估计，如果对另外任意一个θ的无偏估计θ~．在参数率间Θ上都有Var （θ∧）≤Var （θ~），则称θ∧是θ的一致最小方差无偏估计，简记为UMVUE ．关于UMVUE ，有如下一个判断准则：设X ＝（x 1，…，x n ）是来自某总体的一个样本，θ∧＝θ∧（X ）是θ的一个无偏估计，Var （θ∧）＜∞，则θ∧是θ的UMVUE 的充要条件是：对任意一个满足E （φ（X ））＝0和Var （φ（X ））＜∞的φ（X ）都有Cov θ（θ∧，φ）＝0，∀θ∈Θ．这个定理表明UMVUE 的重要特征是：θ的最小方差无偏估计必与任一零的无偏估计不相关，反之亦然．3．充分性原则定理：总体概率函数是p （x ；θ），x 1，…，x n 是其样本，T ＝T （x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计θ∧＝θ∧（x 1，…，x n ）；令ˆ()E T θθ=。

茆诗松《概率论与数理统计教程》课后习题本书是详解研究生入学考试指定考研参考书目为茆诗松《概率论与数理统计教程》的配套题库，每章包括以下四部分：第一部分为考研真题及详解。

本部分按教材章节从历年考研真题中挑选具有代表性的部分，并对其进行了详细的解答。

所选考研真题既注重对基础知识的掌握，让学员具有扎实的专业基础；又对一些重难点部分（包括教材中未涉及到的知识点）进行详细阐释，以使学员不遗漏任何一个重要知识点。

第二部分为课后习题及详解。

本部分对茆诗松编写的《概率论与数理统计教程》（第2版）教材每一章的课后习题进行了详细的分析和解答，并对个别知识点进行了扩展。

课后习题答案经过多次修改，质量上乘，特别适合应试作答和临考冲刺。

第三部分为章节题库及详解。

本部分严格按照茆诗松编写的《概率论与数理统计教程》（第2版）教材内容进行编写，每一章都精心挑选经典常见考题，并予以详细解答。

熟练掌握本书考题的解答，有助于学员理解和掌握有关概念、原理，并提高解题能力。

第四部分为模拟试题及详解。

参照茆诗松编写的《概率论与数理统计教程》（第2版）教材，根据历年考研真题的命题规律及热门考点精心编写了两套考前模拟试题，并提供详尽的解答。

通过模拟试题的练习，学员既可以用来检测学习该考试科目的效果，又可以用来评估对自己的应试能力。

本书提供电子书及打印版，方便对照复习。

目录第一部分考研真题第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第二部分课后习题第1章随机事件与概率第2章随机变量及其分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第三部分章节题库第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第四部分模拟试题茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（一）茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（二）。

第7章假设检验7.1 复习笔记一、假设检验的基本思想与概念1．假设检验的基本思想（1）通过样本对一个假设作出“对”或“不对”的具体判断，检验的结果若是否定该命题，则称拒绝这个假设，否则就称为接受该假设．（2）若假设可用一个参数的集合表示，该假设检验问题称为参数假设检验问题，否则称为非参数假设检验问题．2．假设检验的基本步骤（1）建立假设；（2）选择检验统计量，给出拒绝域形式；注意：一个拒绝域W唯一确定一个检验法则，一个检验法则也唯一确定一个拒绝域．（3）选择显著性水平第一类错误：命题本为真，却由于随机性落入了拒绝域，而否定了命题．（弃真）第二类错误：命题本为假，由于随机性落入了接受域，而接受了命题．（取伪）犯第一类错误概率：α＝pθ{（X∈W）}，θ∈Θ0，也记为p{X∈W|H0}；犯第二类错误概率：β＝pθ{（X∈W＿）}，θ∈Θ1，也记为p{X∈W＿|H1}．注意：α，β的控制是相反的，即减小α，会加大β．①势函数：设检验问题H0：θ∈Θ0 vs H1：θ∈Θ1的拒绝域为W，则样本观测值X落在拒绝域W内的概率称为该检验的势函数，记为g（θ）＝pθ（X∈W），θ∈Θ＝Θ0∪Θ1②显著性检验：对检验问题H0：θ∈Θ0 vs H1：θ∈Θ1，如果一个检验满足对任意的θ∈Θ0，都有g（θ）≤α，则称该检验是显著性水平为α的显著性检验，简称水平为α的检验．（4）给出拒绝域依据题意分析，确定统计量来给出拒绝域．（5）做出判断有了明确的拒绝域W后，根据样本观测值我们可以作出判断，决定假设是否成立．3．检验的p值定义：在一个假设检验问题中，利用样本观测值能够作出拒绝原假设的最小显著性水平，将检验的p值与假设的显著性水平α进行比较可以很容易作出检验的结论：①如果α≥p，则在显著性水平α下拒绝H0；②如果α＜p，则在显著性水平α下接受H0．二、正态总体参数假设检验1．单个正态总体均值的检验设x1，…，x n是来自N（μ，σ2）的样本，单个正态总体均值的假设检验列表如下：2．假设检验与置信区间的关系检验的接受域与置信区间是一一对应的．3．两个正态总体均值差的检验设x1，…，x m是来自正态总体N（μ1，σ12）的样本，y1，…，y n是来自另一个正态总体N（μ2，σ22）的样本，两个样本相互独立，两个正态总体均值的假设检验如下表：注：1x yu -=2x y u -=t 1是服从自由度为n ＋m －1的t 分布的随机变量，t 2是服从自由度为l 的t 分布的随机变量．4．成对数据检验假定x ～N （μ1，σ12），y ～（μ2，σ22），且x 与y 独立，在正态性假定下，d ＝x －y ～N （μ，σd 2），其中μ＝μ1－μ2，σd 2＝σ12＋σ22，将比较μ1与μ2的大小转化为考察μ是否为零，即考察如下检验问题：H 0：μ＝0 vs H 1：μ≠0即把双样本的检验问题转化为单样本t 检验问题，这时检验的t 统计量为 其中在给定显著性水平α下，该检验问题的拒绝域是：W1＝{|t 2|≥t 1－α/2（n －1）}，这就是1x y t -=2x y t -=2(dt d s =11ni i d d n ==∑1/2211()1n d i i s d d n =⎛⎫=- ⎪-⎝⎭∑成对数据的t检验．5．正态总体方差的检验（1）单个正态总体方差的χ2检验；（2）两个正态总体方差比的F检验．两正态总体方差的假设检验如下表：三、其他分布参数的假设检验1．指数分布参数的假设检验（1）提出假设：H0：θ≤θ0 vs H1：θ＞θ0拒绝域：W1＝{χ2≥χ1－α2（2n）}，p值：p1＝P（χ2≥χ02）．（2）提出假设：H0：θ≥θ0 vs H1：θ＜θ0和H0：θ＝θ0 vs H1：θ≠θ0。