概率论参数估计习题课

茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解第6章参数估计6.1复习笔记一、矩估计及相合性判断相合性的两个定理：（1）设ꞈθn ＝ꞈθn （x 1，…，x n ）是θ的一个估计量，若ˆlim ()nn E θθ→∞=，ˆlim Var()0n n θ→∞=，则ꞈθn 是θ的相合估计。

（2）若ꞈθn1，…，ꞈθnk 分别是θ1，…，θk 的相合估计，η＝g（θ1，…，θk ），是θ1，…，θk 的连续函数，则ꞈη＝g（ꞈθn1，…，ꞈθnk ）是η的相合估计。

二、最大似然估计（1）求样本似然函数；（2）求对数似然函数；（3）求导；（4）找到ꞈθ＝ꞈθ（x 1，…，x n ）满足()()ˆmax L L θθθ∈Θ=。

三、最小方差无偏估计1．均方误差（1）MSE（ꞈθ）＝E（ꞈθ－θ）2，如果ꞈθ是θ的无偏估计，则MSE（ꞈθ）＝Var（ꞈθ）。

（2）一致最小均方误差如果对该估计类中另外任意一个θ的估计~θ，在参数空间Θ上都有MSE （ꞈθ）≤MSE （~θ），称ꞈθ（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计。

2．一致最小方差无偏估计UMVUE 判断准则：设X＝（x 1，…，x n ）是来自某总体的一个样本，ꞈθ＝ꞈθ（X）是θ的一个无偏估计，Var （ꞈθ）＜∞，则ꞈθ是θ的UMVUE 的充要条件是：对任意一个满足E（φ（X））＝0和Var（φ（X））＜∞的φ（X）都有Cov θ（ꞈθ，φ）＝0，∀θ∈Θ。

3．充分性原则定理：总体概率函数是p（x；θ），x 1，…，x n 是其样本，T＝T（x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计ꞈθ＝ꞈθ（x 1，…，x n ）；令~θ＝E（ꞈθ|T），则ꞈθ也是θ的无偏估计，且Var（ꞈθ）≤Var（ꞈθ）。

4．Cramer-Rao 不等式（1）费希尔信息量I（θ）2()=ln (;)I E p x θθθ∂⎡⎤⎢⎥∂⎣⎦（2）定理（Cramer-Rao 不等式）设总体分布P（X；θ）满足费希尔信息里I（θ），x 1，x 2…，x n 是来自该总体的样本，T ＝T（x 1，x 2…，x n ）是g（θ）的任一个无偏估计，g′（θ）∂g（θ）/∂θ存在，且对Θ中一切θ，对1i 11()...(,,)(;)d d nn ni g T x x p x x x θθ∞∞-∞-∞==∏⎰⎰ 的微商可在积分号下进行，即1111111()...(,...,)((;))d d ...(,,)ln(;)(;)d d nn i ni nnn i i ni i g T x x p x x x T x x p x p x x x θθθθθθ∞∞-∞-∞=∞∞-∞-∞==∂'=∂∂⎡⎤=⎢⎥∂⎣⎦∏⎰⎰∏∏⎰⎰ 对离散总体，则将上述积分改为求和符号后，等式仍然成立。

参数估计习题及答案参数估计在统计学中是一个重要的概念，它涉及到根据样本数据来估计总体参数的过程。

下面，我将提供一些参数估计的习题以及相应的答案，以帮助学生更好地理解这一概念。

习题一：假设有一个班级的学生数学成绩，我们从这个班级中随机抽取了10名学生的成绩，得到样本均值 \(\bar{x} = 85\)，样本标准差 \(s = 10\)。

请估计总体均值 \(\mu\)。

答案：根据样本均值 \(\bar{x}\) 来估计总体均值 \(\mu\)，我们可以使用以下公式：\[ \hat{\mu} = \bar{x} \]因此，\(\hat{\mu} = 85\)。

习题二：在习题一中，如果我们想要估计总体方差 \(\sigma^2\)，我们应该如何操作？答案：总体方差 \(\sigma^2\) 通常使用样本方差 \(s^2\) 来估计，样本方差的计算公式为：\[ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2 \]其中 \(n\) 是样本大小，\(x_i\) 是第 \(i\) 个观测值。

在这个例子中，\(n = 10\)，\(\bar{x} = 85\)，\(s = 10\)。

因此，我们可以使用以下公式来估计总体方差：\[ \hat{\sigma}^2 = s^2 = \frac{1}{10-1} \times 10^2 = 100 \]习题三：一个工厂生产的产品长度服从正态分布，样本均值为 \(\bar{x} =50\) 厘米，样本标准差为 \(s = 2\) 厘米。

如果我们知道总体均值\(\mu\) 为 \(50\) 厘米，我们如何估计总体标准差 \(\sigma\)？答案：根据已知的样本均值 \(\bar{x}\) 和样本标准差 \(s\)，我们可以使用以下公式来估计总体标准差 \(\sigma\)：\[ \hat{\sigma} = s \]因此，\(\hat{\sigma} = 2\) 厘米。

第六章 参数估计在实际问题中, 当所研究的总体分布类型已知, 但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数，这就是参数估计问题.参数估计问题分为点估计问题与区间估计问题两类. 所谓点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.例如, 灯泡的寿命X 是一个总体, 根据实际经验知道, X 服从),(2σμN , 但对每一批灯泡而言, 参数2,σμ是未知的,要写出具体的分布函数, 就必须确定出参数. 此类问题就属于参数估计问题.参数估计问题的一般提法:设有一个统计总体, 总体的分布函数为),(θx F , 其中θ为未知参数(θ可以是向量). 现从该总体中随机地抽样, 得一样本n X X X ,,,21 ,再依据该样本对参数θ作出估计, 或估计参数θ的某已知函数).(θg第一节 点估计问题概述内容分布图示★ 引言★ 点估计的概念 ★ 例1★ 评价估计量的标准★ 无偏性 ★ 例2 ★ 例3★ 有效性★ 例4 ★ 例5 ★ 例6★ 相合性 ★ 例7 ★ 例8★ 内容小结 ★ 课堂练习 ★ 习题6-1 ★ 返回内容要点：一、点估计的概念设n X X X ,,,21 是取自总体X 的一个样本, n x x x ,,,21 是相应的一个样本值. θ是总体分布中的未知参数, 为估计未知参数θ, 需构造一个适当的统计量),,,,(ˆ21nX X X θ然后用其观察值),,,(ˆ21nx x x θ 来估计θ的值.称),,,(ˆ21n X X X θ为θ的估计量. 称),,,(ˆ21nx x x θ为θ的估计值. 在不致混淆的情况下, 估计量与估计值统称为点估计,简称为估计, 并简记为θˆ.注: 估计量),,,(ˆ21nX X X θ是一个随机变量, 是样本的函数，即是一个统计量, 对不同的样本值, θ的估计值θˆ一般是不同的.二、评价估计量的标准从例1可见,参数点估计的概念相当宽松, 对同一参数,可用不同的方法来估计, 因而得到不同的估计量, 故有必要建立一些评价估计量好坏的标准.估计量的评价一般有三条标准:1. 无偏性;2. 有效性;3. 相合性（一致性）.在本节的后面将逐一介绍之.在具体介绍估计量的评价标准之前, 需指出: 评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中体现出其优良性.1．无偏性估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准.定义1 设),,(ˆ1nX X θ是未知参数θ的估计量, 若 ,)ˆ(θθ=E 则称θˆ为θ的无偏估计量.注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称θθ-)ˆ(E 为用θˆ估计θ而产生的系统误差.例如, 用样本均值作为总体均值的估计时, 虽无法说明一次估计所产生的偏差, 但这种偏差随机地在0的周围波动,对同一统计问题大量重要使用不会产生系统偏差. 对一般总体而言，我们有定理1 设n X X ,,1 为取自总体X 的样本,总体X 的均值为μ, 方差为2σ.则(1) 样本均值X 是μ的无偏估计量;(2) 样本方差2S 是2σ的无偏估计量;(3) 样本二阶中心矩∑=-ni i X X n 12)(1是2σ的有偏估计量.2．有效性一个参数θ常有多个无偏估计量,在这些估计量中,自然应选用对θ的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.定义2 设),,(ˆˆ111n X X θθ=和),,(ˆˆ122nX X θθ=都是参数θ的无偏估计量, 若 )ˆ()ˆ(21θθD D <, 则称1ˆθ较2ˆθ有效.注: 在数理统计中常用到最小方差无偏估计, 其定义如下:设n X X ,,1 是取自总体X 的一个样本, ),,(ˆ1nX X θ是未知参数θ的一个估计量, 若θˆ满足:(1) ,)ˆ(θθ=E 即θˆ为θ的无偏估计; (2) ),ˆ()ˆ(*≤θθE *θˆ是θ的任一无偏估计. 则称θˆ为θ的最小方差无偏估计(也称最佳无偏估计).3．相合性(一致性)我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准.定义 3 设),,(ˆˆ1nX X θθ=为未知参数θ的估计量, 若θˆ依概率收敛于θ, 即对任意0>ε, 有,1}|ˆ{|lim =<-∞→εθθP n 或,0}|ˆ{|lim =≥-∞→εθθP n 则称θˆ为θ的(弱)相合估计量.例题选讲：点估计的概念例1 （讲义例1）设X 表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：⎪⎩⎪⎨⎧≤>=-.0,00,1),(~/x x e x f X x θθθθ为未知参数, 0>θ. 现得样本值为168, 130, 169, 143, 174, 198, 108, 212, 252,试估计未知参数θ.评价估计量的标准例2（讲义例2）设总体),0(~2σN X ,n x x x ,,,21 是来自这一总体的样本. (1) 证明∑==n i i x n 1221ˆσ是2σ的无偏估计; (2) 求).ˆ(2σD 例3（讲义例3）设n X X X ,,,21 是总体),(2σμN 的一个简单随机样本. 求k 使∑∑==-=ni nj j i X X k 11||ˆσ为σ的无偏估计.例4（讲义例4）设n X X X ,,,21 为来自总体X 的样本, ,),,2,1(n i X i =均为总体均值μ=)(X E 的无偏估计量, 问哪一个估计量有效?例5（讲义例5）设总体X 在区间],0[θ上服从均匀分布, n X X X ,,,21 是取自总体X 的简单随机样本, ,11∑==n i i X n X ).,,m ax(1)(n n X X X = 求常数,,b a 使)(21ˆ,ˆn bX X a ==θθ均为θ的无偏估计, 并比较其有效性.例6（讲义例6）设分别自总体),(21σμN 和),(22σμN 中抽取容量为21,n n 的两独立样本.其样本方差分别为2221,S S . 试证, 对于任意常数2221),1(,bS aS Z b a b a +==+都是2σ的无偏估计, 并确定常数b a ,使)(Z D 达到最小.例7（讲义例7）设n X X ,,1 是取自总体X 的样本, 且)(k X D 存在, .,,2,1n k = 则∑=n i ki X n 11为)(k X E 的相合估计量, .,,2,1n k = 例8（讲义例8）设总体),(~2σμN X ,n X X ,,1 为其样本. 试证样本方差2S 是2σ的相合估计量.课堂练习1. 设总体X 的k 阶矩)1)((≥=k X E k k μ存在, 又设n X X X ,,,21 是X 的一个样本. 试证明不论总体服从什么分布, k 阶样本矩∑==n i ki k X n A 11是k 阶总体矩k μ的无偏估计量.2．证明本节例5中21ˆ,ˆθθ均为θ的相合性估计.第二节 点估计的常用方法内容分布图示★ 矩估计法 ★ 求矩估计的方法★ 例1 ★ 例2 ★ 例3 ★ 例4★ 最大似然估计法★ 求最大似然估计的一般方法★ 例5 ★ 例6 ★ 例7 ★ 例8★ 关于有k 个未知参数的最大似然估计 ★ 内容小结 ★ 课堂练习★ 习题6-2 ★ 返回内容要点：一、矩估计法矩估计法的基本思想是用样本矩估计总体矩. 因为由在数定理知, 当总体的k 阶矩存在时,样本的k 阶矩依概率收敛于总体的k 阶矩.例如, 可用样本均值X 作为总体均值)(X E 的估计量, 一般地, 记总体k 阶矩 );(k k X E =μ样本k 阶矩 ∑==n i ki k X n A 11;总体k 阶中心矩 ;)]([k k X E X E V -= 样本k 阶中心矩 .)(11∑=-=ni k i k X X n B用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计. 求矩估计的方法：设总体X 的分布函数),,;(1k x F θθ 中含有k 个未知参数k θθ,,1 , 则(1) 求总体X 的前k 阶矩k μμ,,1 ，一般都是这k 个未知参数的函数, 记为k i g k i i ,,2,1),,,(1 ==θθμ （*）(2) 从（*）中解得 k j h k j j ,,2,1),,,(1 ==μμθ(3) 再用),,2,1(k i i =μ的估计量i A 分别代替上式中的i μ,即可得),,2,1(k i j =θ的矩估计量:.,,2,1),,,(ˆ1k j A A h kj j ==θ注：求,,,1k V V 类似于上述步骤，最后用k B B ,,1⋅⋅⋅代替k V V ,,1 ，求出矩估计jθˆ ),,2,1(k I ⋅⋅⋅=。

概率论与数理统计课后习题答案第七章 参数估计1．[一] 随机地取8只活塞环，测得它们的直径为（以mm 计）求总体均值μ及方差σ2的矩估计，并求样本方差S 2。

解：μ，σ2的矩估计是6122106)(1ˆ,002.74ˆ-=⨯=-===∑ni i x X n X σμ621086.6-⨯=S 。

2．[二]设X 1，X 1，…，X n 为准总体的一个样本。

求下列各总体的密度函数或分布律中的未知参数的矩估计量。

（1）⎩⎨⎧>=+-其它,0,)()1(cx x c θx f θθ 其中c >0为已知，θ>1，θ为未知参数。

（2）⎪⎩⎪⎨⎧≤≤=-.,010,)(1其它x x θx f θ 其中θ>0，θ为未知参数。

（5）()p p m x p p x X P xm x m x ,10,,,2,1,0,)1()(<<=-==- 为未知参数。

解：（1）Xθcθθc θc θc θdx x c θdx x xf X E θθcθθ=--=-===+-∞+-∞+∞-⎰⎰1,11)()(1令，得cX X θ-=（2）,1)()(10+===⎰⎰∞+∞-θθdx xθdx x xf X E θ2)1(,1X X θX θθ-==+得令（5）E (X ) = mp 令mp =X， 解得mX p=ˆ3．[三]求上题中各未知参数的极大似然估计值和估计量。

解：（1）似然函数1211)()()(+-===∏θn θn n ni ix x x cθx f θL0ln ln )(ln ,ln )1(ln )ln()(ln 11=-+=-++=∑∑==ni ini i xc n n θθd θL d x θc θn θn θL∑=-=ni icn xnθ1ln ln ˆ （解唯一故为极大似然估计量）（2）∑∏=--=-+-===ni iθn nni ix θθnθL x x x θx f θL 112121ln )1()ln(2)(ln ,)()()(∑∑====+⋅-=ni ini ix n θxθθn θd θL d 121)ln (ˆ,0ln 2112)(ln 。

第七章 参数估计1. 解 )1()(,)(),,(~p np X D np X E p n B X -==∴⎩⎨⎧=-=⎩⎨⎧==22)1(,)()(B p np X np B X D X X E 即由解之，得n,p 的矩估计量为XB p B X X n 2221,-=⎥⎥⎦⎤⎢⎢⎣⎡-=∧∧注：“[ ]”表示取整。

2. 解 因为：220)(22)(1)1()(1)()(λλθλλθλθλθλ++=⋅=+=⋅==⎰⎰⎰∞+--∞+--∞+∞-dx e x x E dx e x dx x xf x E x x所以，由矩估计法得方程组： ⎪⎩⎪⎨⎧++=+=2221)1(1λλθλθA X 解得λθ,的矩估计量为 ⎪⎩⎪⎨⎧=-=∧∧221B B X λθ3. 解 (1) 由于 222)]([)()(X E X E X D -==σ令 ∑===n i iX n A X E 12221)( 又已知 μ=)(X E故 2σ的矩估计值为 ∑∑==∧-=-=-=n i i n i i X n X n A 12122222)(11μμμσ(2) μ已知时，似然函数为:⎭⎬⎫⎩⎨⎧--⋅=∑=-ni in x L 122222)(21exp )2()(μσπσσ因此∑=---=ni ixn L 12222)(21)2ln(2)(ln μσπσσ令 0)(2112)(ln 124222=-+-=∑=ni ixn L d dμσσσσ解得2σ的极大似然估计为: ∑=∧-=n i i X n 122)(1μσ4. 解 矩估计：λλ=∴=)()(X E X E 令X X E =)(故X =∧λ为所求矩估计量。

注意到 λ=)(X D 若令 2)(B X D =, 可得: 2B =∧λ似然估计：因为λλ-==e k k X P k!)(所以，λ的似然函数为∏=-=ni i xe x L i1!)(λλλ取对数λλλn x x L ni i ni i --=∑∑==11)!ln(ln )(ln令ln 1=-=∑=n xd d ni iλλλ, 解得∑=∧=ni ix n 11λ故,λ极大似然估计量为 X =∧λ5. 解 矩估计：21)1()()(11++=+==⎰⎰+∞+∞-θθθθdx x dx x xf X E令 X X E =)(, 即 X=++21θθ; 解之X X --=∧112θ 似然估计: 似然函数为⎪⎩⎪⎨⎧<<+=⎪⎩⎪⎨⎧<<+=∏∏==其它其它,010,)()1(,010,)1()(11i ni i ni n i i x x x x L θθθθθ 只需求10,)()1()(11<<+=∏=i ni i nx x L θθθ的驻点即可.又∑=++=ni ix n L 11ln )1ln()(ln θθθ令∑=++=ni ix n L d d 11ln 1)(ln θθθ; 解之∑=∧--=ni ixn1ln 1θ6. 解：似然函数为∑===---=-=---∏∏ni i i xn i i n ni x i ex ex L 12222)(l n 21112212)(l n 12)()2(21),(μσσμπσσπσμ取对数得 ∑----===∏n i ini i x x n L 122122)(l n 21)l n ()2l n (2),(ln μσπσσμ由 0)(l n 2112),(ln 0)1()(ln 221),(ln 124222122=∑-+⋅-=∂∂=∑-⋅--=∂∂==n i i n i i x n L x L μσσσμσμσσμμ联立解之，2,σμ的极大似然估计值为 ∑∑-=∑===∧=∧n i n i i in i i x n x n x n 12121)ln 1(ln 1,ln 1σμ7. 解：似然函数为 n i x x e ax L i i n i x a i ai ,,2,1;0,00,)(11 =⎪⎩⎪⎨⎧≤>=∏=--λλλ只需求∑⋅===--==--∏∏ni ai ai x a n i n n ni x a i ex a eax L 111111)()(λλλλλ的最值点。