《概率论》最大似然估计

概率论与数理统计教案-参数估计教案章节一：参数估计概述教学目标：1. 理解参数估计的定义及意义；2. 掌握参数估计的两种方法：最大似然估计和最小二乘估计；3. 了解参数估计的假设条件。

教学内容：1. 参数估计的定义及意义；2. 最大似然估计和最小二乘估计的方法及步骤；3. 参数估计的假设条件。

教学方法：1. 讲授法：讲解参数估计的定义、意义、方法及步骤；2. 案例分析法：分析实际案例，让学生更好地理解参数估计的方法及应用。

教学难点：1. 最大似然估计和最小二乘估计的方法及步骤；2. 参数估计的假设条件。

教学准备：1. 教学PPT；2. 相关案例资料。

教学过程：1. 引入参数估计的概念，讲解其意义；2. 讲解最大似然估计和最小二乘估计的方法及步骤；3. 分析实际案例，展示参数估计的应用；4. 讲解参数估计的假设条件；5. 课堂互动，回答学生问题。

作业布置：1. 复习parameter estimation 的定义及意义；2. 学习maximum likelihood estimation 和least squares estimation 的相关知识；3. 思考如何应用parameter estimation 解决实际问题。

教案章节二：最大似然估计教学目标：1. 理解最大似然估计的定义及意义；2. 掌握最大似然估计的计算方法；3. 了解最大似然估计的应用场景。

教学内容：1. 最大似然估计的定义及意义；2. 最大似然估计的计算方法；3. 最大似然估计的应用场景。

教学方法：1. 讲授法：讲解最大似然估计的定义、意义、计算方法；2. 案例分析法：分析实际案例，展示最大似然估计的应用。

教学难点：1. 最大似然估计的计算方法；2. 最大似然估计的应用场景。

教学准备：1. 教学PPT；2. 相关案例资料。

教学过程：1. 引入最大似然估计的概念，讲解其意义；2. 讲解最大似然估计的计算方法；3. 分析实际案例，展示最大似然估计的应用；4. 课堂互动，回答学生问题。

最大似然估计学习总结(概率论大作业)最大似然估计学习总结航天学院探测制导与控制技术杨若眉1110420123摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。

最大似然法是一类完全基于统计的系统发生树重建方法的代表。

关键词：最大似然估计；离散；连续；概率密度最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。

这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。

“似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。

故而，若称之为“最大可能性估计”则更加通俗易懂。

最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。

最大似然法是一类完全基于统计的系统发生树重建方法的代表。

该方法在每组序列比对中考虑了每个核苷酸替换的概率。

最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。

通俗一点讲，就是在什么情况下最有可能发生已知的事件。

举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。

我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。

这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。

假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？我想很多人立马有答案：70%。

这个答案是正确的。

可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。

在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。

极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。

极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。

极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。

具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。

极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。

数学上，极大似然估计可以通过最大化似然函数来求解。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。

具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。

理论基础似然函数是极大似然估计的核心概念之一。

似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。

似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。

对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。

它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。

最大似然估计与中心极限定理引言:最大似然估计是一种常用的参数估计方法，它通过最大化给定数据的似然函数来确定参数的最优值。

而中心极限定理是概率论中的一个重要定理，它描述了独立同分布随机变量和的分布会趋近于正态分布。

本文将结合最大似然估计和中心极限定理，探讨它们在统计学中的应用和相关性。

一、最大似然估计最大似然估计是一种通过观察到的样本数据来估计参数的方法。

假设有一组样本数据X={x₁, x₂, ..., xn}，其概率密度函数为f(x|θ)，其中θ是待估参数。

最大似然估计的目标是找到最优的参数估计值θ̂，使得样本数据出现的概率最大。

具体来说，最大似然估计的步骤如下：1. 建立似然函数L(θ|X)，表示给定参数θ下样本数据出现的概率；2. 对似然函数取对数，得到对数似然函数lnL(θ|X)，方便计算和优化；3. 对对数似然函数求导，令导数等于0，求解参数的最优值；4. 检验最优值是否为全局最优，可以通过二阶导数的符号判断。

最大似然估计的优点是简单易懂，而且在大样本条件下具有较好的渐近性质。

然而，它也有一些局限性，比如对于小样本数据或参数空间复杂的情况，可能会存在估计偏差和方差较大的问题。

二、中心极限定理中心极限定理是概率论中的一个重要定理，它说明当独立同分布随机变量的数量足够大时，它们的和的分布会趋近于正态分布。

这个定理为统计学提供了一种重要的近似方法。

中心极限定理的形式有多种，其中最著名的是切比雪夫形式和林德伯格-列维形式。

切比雪夫形式是对于任意分布的随机变量，当样本容量足够大时，其标准化和服从标准正态分布。

而林德伯格-列维形式则是对于独立同分布随机变量和，当样本容量足够大时，的标准化和服从标准正态分布。

中心极限定理的应用非常广泛，特别是在统计推断和假设检验中。

通过中心极限定理，我们可以基于正态分布的性质进行参数估计、置信区间的构造以及假设检验的推断。

这使得我们能够利用正态分布的统计方法来处理各种类型的数据，从而简化了统计分析的过程。

最大似然估计算法最大似然估计(Maximum Likelihood Estimation, MLE)是一种常用的参数估计方法，广泛应用于统计学和机器学习领域。

它基于概率论的理论基础，通过寻找使得观测数据出现的概率最大的参数值，来估计未知的参数。

1.定义似然函数：假设观测数据是从一个概率分布中生成的，我们需要定义一个参数化的概率分布，并将数据带入概率分布中。

这个概率分布通常是一个概率密度函数(对连续变量)或概率质量函数(对离散变量)。

2.建立似然函数：将观测数据的概率密度函数(或概率质量函数)表达式，带入参数化概率分布中，得到关于参数的函数。

这个函数称为似然函数。

3.计算似然函数的对数：为了方便计算和分析，通常会计算似然函数的对数，这样可以将乘积转化为求和，且便于计算导数。

4.极大化似然函数：通过求解似然函数的极值问题，找到使得似然函数取得最大值时的参数值，这个参数值称为最大似然估计量，通常用θ^表示。

5.参数估计：得到最大似然估计量后，我们就可以用它来估计未知参数的值。

最大似然估计的重要性在于它具有很好的统计性质，例如一致性和渐近正态性。

一致性指的是当样本量趋近于无穷时，最大似然估计量会以概率1收敛到真实参数值。

渐近正态性则是指当样本量足够大时，最大似然估计量的分布近似服从高斯分布。

这些性质使得最大似然估计成为了一种广泛使用的参数估计方法。

最大似然估计在实际应用中有很多应用，例如线性回归、逻辑回归和混合高斯模型等。

最大似然估计也可以通过解析解或者数值优化的方法来求解。

对于简单的问题，通常可以通过求导数等条件来解析求解，而对于复杂的问题，通常需要借助数值优化算法。

总结起来，最大似然估计是一种常用的参数估计方法，通过最大化观测数据出现的概率来估计未知参数。

它具有良好的统计性质并广泛应用于统计学和机器学习领域。

《概率论与数理统计》典型教案教学内容：极大似然估计法 教学目的：通过本节内容的教学，使学生： 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值． 教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解． 教学难点：对不能通过求导方法获得极大似然估计的值的确定． 教学时数：２学时． 教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．一、极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０ １ ２ ３41=P 6427 6427 649 64143=P641 64964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ．在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值范围Θ内，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθnn x x x L x x x L L Θ∈== （２） 因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３） 来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成：0)(ln =θθd L d （４） 方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i ni i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==ni i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n pni i ==∑=11ˆ （５）经验证，在x p=ˆ时，0)(22<dp p l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nTx p==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得kθθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏ni i i x n ni x ee L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ（３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222ni i n i i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=ni i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ． 进一步，可讨论估计θˆ的无偏性： 由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p nn n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(0ˆ)(n ndy ny dy y yp X E E nnn 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ． 例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni iix nni x eeL 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxnni i1ˆ1==∑=λ经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(． 五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．五、作业见参考文献1的第278页第4，5，6页．参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999年1版．。

写出最大似然估计的一般步骤
最大似然估计（Maximum likelihood estimation，MLE）是统计学中最基本、
重要、有用的概率论估计方法，用于确定不确定系统或过程的参数值。

MLE假设观
察数据同概率分布，并依据已有观测数据确定参数以使得参数设置最能实现现行观察数据生成，从而得出最大似然估计值。

MLE的一般步骤如下：
1、收集数据
首先，我们要获取相关的观测数据，用于进行MLE的估计。

我们可以实验测量获取数据，也可以从文献中收集书面数据。

2、确定模型
在进行MLE的估计之前，我们需要确定估计的模型，如概率密度函数、回归模型等，用于引入变量之间的联系，从而求解参数。

3、求解参数
在MLE过程中，我们要求解参数，即求取特定模型下，参数值使得概率最大，即期望尽可能满足观察序列出现的频率。

4、检验结果
最后，我们可以用卡方检验、贝叶斯校正、最大似然估计检验、Wald检验等方法
对最大似然估计的结果进行检验，以验证最大似然估计是否有效。

总而言之，最大似然估计（MLE）在统计领域成为一项重要的基本应用技术。

MLE的一般步骤是收集数据、确定模型、求解参数以及检验结果。

综上所述，MLE
是一个可靠的统计估计技术，能够可靠有效地求解参数。

概率论总结：矩估计与最大似然估计 2013：设总体X 的概率密度为()23,0,0,.x e x f x x θθ-⎧>⎪=⎨⎪⎩其它其中θ为未知参数且大于零，12,N X X X ，为来自总体X 的简单随机样本.（1）求θ的矩估计量；（2）求θ的最大似然估计量.2012：设随机变量X 与Y 相互独立，且分别服从正态分布2(,)N m d 与2(,4)N m d ，其中0d >是求知参数，设Z X Y =-。

（1）求Z 的概率密度2(,)f z d ；（2）设12,,,n Z Z Z 是来自总体Z 的简单随机样本，求2d 的最大似然估计量2d ； （3）证明2d 是2d 的无偏估计量。

2011：设12,,,n x x x 为来自正态总体20(,)N μσ的简单随机样本，其中0μ已知，20σ>未知，x 和2S 分别表示样本均值和样本方差，（1）求参数2σ的最大似然估计^2σ（2）计算^2()E σ和^2()D σ2010：设总体的分布律为22123~1X θθθθ⎛⎫ ⎪--⎝⎭，其中(0,1)θ∈为未知参数，以i N 表示来自总体X 的简单随机样本（样本容量为n ）中等于i （1,2,3i =）的个数，求常数123,,a a a ，使31i i i T a N ==∑为θ的无偏估计量。

2009：设总体X的概率密度为2,0()0,xxe xf xλλ-⎧>=⎨⎩其他，其中参数(0)λλ>未知，1X，2X,…nX是来自总体X的简单随机样本(Ⅰ)求参数λ的矩估计量；（Ⅱ）求参数λ的最大似然估计量2008：设n X X X 21,是来自总体2(,)N μσ的简单随机样本，记∑==n i i X n X 11，2211()1n i i S X X n ==--∑，221T X S n=-． （1）证明T 是μ2的无偏估计量； （2）当μσ0,1==时，求.DT .2007：设总体X 的概率密度为⎪⎪⎪⎩⎪⎪⎪⎨⎧<≤-<<=.,0,1,)1(21,0,21),(其他x x x f θθθθθ其中参数θ(0<θ<1)未知, n X X X 21,是来自总体X 的简单随机样本, X 是样本均值(I) 求参数θ的矩估计量θˆ；(II) 判断24X 是否为2θ的无偏估计量,并说明理由.2006：设)2(,,,21>n X X X n 为来自总体N(0,1)的简单随机样本，X 为样本均值，记.,,2,1,n i X X Y i i =-=求：（I ） i Y 的方差n i DY i ,,2,1, =； （II ）1Y 与n Y 的协方差).,(1n Y Y Cov2005：设)2(,,,21>n X X X n 为来自总体N(0,1)的简单随机样本，X 为样本均值，记.,,2,1,n i X X Y i i =-=求：（I ） i Y 的方差n i DY i ,,2,1, =；（II ）1Y 与n Y 的协方差).,(1n Y Y Cov2004：设总体X 的分布函数为,1,1,0,11),(≤>⎪⎩⎪⎨⎧-=x x x x F ββ其中未知参数n X X X ,,,,121 >β为来自总体X 的简单随机样本，求：（I ） β的矩估计量； （II ） β的最大似然估计量.⎩⎨⎧≤>=--,,,0,2)()(2θθθx x e x f x 其中0>θ是未知参数. 从总体X 中抽取简单随机样本n X X X ,,,21 ，记).,,,min(ˆ21nX X X =θ (1)求总体X 的分布函数F(x);(2)求统计量θˆ的分布函数)(ˆx F θ；(3)如果用θˆ作为θ的估计量，讨论它是否具有无偏性.X 0 1 2 3P 2θ )1(2θθ- 2θθ21- 其中1(0)2θθ<<是未知参数,利用总体X 的如下样本值 3,1,3,0,3,1,2,3,求θ的矩估计值和最大似然估计值.。

最⼤似然估计（MLE ）与最⼩⼆乘估计（LSE ）的区别最⼤似然估计与最⼩⼆乘估计的区别标签（空格分隔）： 概率论与数理统计最⼩⼆乘估计对于最⼩⼆乘估计来说，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值与观测值之差的平⽅和最⼩。

设Q 表⽰平⽅误差，Y i 表⽰估计值，ˆY i 表⽰观测值，即Q =∑n i =1(Y i −ˆY i )2最⼤似然估计对于最⼤似然估计来说，最合理的参数估计量应该使得从模型中抽取该n 组样本的观测值的概率最⼤，也就是概率分布函数或者似然函数最⼤。

显然，最⼤似然估计需要已知这个概率分布函数，⼀般假设其满⾜正态分布函数的特性，在这种情况下，最⼤似然估计与最⼩⼆乘估计是等价的，也就是估计的结果是相同的。

最⼤似然估计原理：1. 当给定样本x 1,x 2,...,x n 时，定义似然函数为L (θ)=f (x 1,x 2,...,x n ;θ);2. L (θ)看做是θ的函数，最⼤似然估计就是⽤使L (θ)达到最⼤值的ˆθ去估计θ，这时称ˆθ为θ的最⼤似然估计;MLE 的步骤：1. 由总体分布导出样本的联合概率函数（或联合密度）；2. 把样本联合概率函数的⾃变量看成是已知常数，⽽把θ看做是⾃变量，得到似然函数L (θ);3. 求似然函数的最⼤值（常常取对数，然后求驻点）；4. ⽤样本值带⼊得到参数的最⼤似然估计。

例题设⼀个有偏的硬币，抛了100次，出现1次⼈头，99次字。

问⽤最⼤似然估计（ML ）和最⼩均⽅误差（LSE ）估计出现⼈头的概率哪个⼤？LSE设使⽤LSE 估计，出现⼈头的概率为θ, 则出现字的概率为1−θ。

已知观测量为：（观测到的）出现⼈头的概率为1100, （观测到的）出现字的概率为99100,则由最⼩⼆乘估计：Q (θ)=argmin θ∑1001(θ−ˆθ)2=argmin θ{(1100−θ)2+[99100−(1−θ)]2∗99}令∂Q (θ)∂θ=0,解得θ=1100;ML设使⽤ML 估计，所以x 服从伯努利分布，x ∼B (朝上,θ),则概率密度函数为：P (x |θ)=θ,if x ⼈头朝上1−θ,if x 字朝上则连续100次试验的似然函数为：P (x 1,x 2,..x 100|θ)=C 1100θ1∗(1−θ)99=100∗θ1∗(1−θ)99最⼤化似然函数，则θ⾄少为驻点，对似然函数取对数并求偏导：ln P (x 1,x 2,..x 100|θ)=ln100+ln θ+99ln(1−θ)对θ求偏导为0，得到：∂ln P (x 1,x 2,..x 100|θ)∂θ=1θ−991−θ=0, 解得θ=1100.{两者虽然得到的估计值是⼀样的，但是原理完全不同，要对他们的推导过程⾮常清楚。

《概率论与数理统计》典型教案教学内容：极大似然估计法教学目的：通过本节内容的教学，使学生：1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法；2、理解极大似然思想；3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值．教学重点：1、对极大似然思想阐述；2、极大似然估计值的求解．教学难点：对不能通过求导方法获得极大似然估计的值的确定．教学时数：２学时．教学过程：引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想．一、极大似然思想一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ．分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计．解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:X ０ １ ２ ３41=P 6427 6427 649 64143=P641 64964276427故根据极大似然思想即知：⎪⎩⎪⎨⎧===3,2,431,0,41ˆk k P ． 在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个．二、似然函数与极大似然估计1、离散分布场合：设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=ni i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量．若我们已知样本取的值是n x x x ,,,21 ，则事件},,,{2211n n x X x X x X === 发生的概率为∏=ni i x p 1);(θ．这一概率随θ的值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=ni i x p 1);(θ取比较大的值．换句话说，θ应使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：∏===ni i n x p x x x L L 121);();,,,()(θθθ （１）称)(θL 为似然函数．极大似然估计法就是在参数θ的可能取值范围Θ，选取使)(θL 达到最大的参数值θˆ，作为参数θ的估计值．即取θ，使);,,,(max )ˆ;,,,()(2121θθθθnn x x x L x x x L L Θ∈== （２） 因此，求总体参数θ的极大似然估计值的问题就是求似然函数)(θL 的最大值问题．这可通过解下面的方程0)(=θθd dL （３） 来解决．因为L ln 是L 的增函数，所以L ln 与L 在θ的同一值处取得最大值．我们称)(ln )(θθL l =为对数似然函数．因此，常将方程（３）写成：0)(ln =θθd L d （４） 方程（４）称为似然方程．解方程（３）或（４）得到的θˆ就是参数θ的极大似然估计值．如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解．２、连续分布场合：设总体X 是连续离散型随机变量，其概率密度函数为);(θx f ，若取得样本观察值为n x x x ,,,21 ，则因为随机点),,,(21n X X X 取值为),,,(21n x x x 时联合密度函数值为∏=ni i x f 1);(θ．所以，按极大似然法，应选择θ的值使此概率达到最大．我们取似然函数为∏==ni i x f L 1);()(θθ，再按前述方法求参数θ的极大似然估计值．三、求极大似然估计的方法1、可通过求导获得极大似然估计：当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值．例２、设某工序生产的产品的不合格率为p ，抽n 个产品作检验，发现有T 个不合格，试求p 的极大似然估计．分析：设X 是抽查一个产品时的不合格品个数，则X 服从参数为p 的二点分布),1(p b ．抽查n 个产品，则得样本n X X X ,,,21 ，其观察值为n x x x ,,,21 ，假如样本有T 个不合格，即表示n x x x ,,,21 中有T 个取值为１，T n -个取值为０．按离散分布场合方法，求p 的极大似然估计．解：（１）写出似然函数：∏=--=ni x x i i P p p L 11)1()(（２）对)(p L 取对数，得对数似然函数)(p l ：∑∑==--+-=--+=ni i n i i i p p x p n p x p x p l 11)]1ln([ln )1ln()]1ln()1(ln [)(（３）由于)(p l 对p 的导数存在，故将)(p l 对p 求导，令其为０，得似然方程：0)1(11)111(1)(11=-+--=-++--=∑∑==ni i n i i x p p p n p p x p n dp p dl （４）解似然方程得：x x n pni i ==∑=11ˆ （５）经验证，在x p=ˆ时，0)(22<dp p l d ，这表明x p =ˆ可使似然函数达到最大（６）上述过程对任一样本观测值都成立，故用样本代替观察值便得p 的极大似然估计为：X p=ˆ 将观察值代入，可得p 的极大似然估计值为：nTx p==ˆ，其中∑==ni i x T 1．若总体X 的分布中含有多个未知参数k θθθ,,,21 时，似然函数L 是这些参数的多元函数),,(1k L θθ ．代替方程（３），我们有方程组),,2,1(0)(ln k i L i==∂∂θ，由这个方程组解得kθθθˆ,,ˆ,ˆ21 分别是参数k θθθ,,,21 的极大似然估计值．例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从),(2σμN ，其中2,σμ未知．为估计2,σμ，从中随机抽取100=n 根轴，测得其偏差为10021,,,x x x ．试求2,σμ的极大似然估计．分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数2,σμ的似然方程组，从而进行求解．解：（１）写出似然函数：212222)(2212)(2)2(21),(σμσμπσσπσμ∑===---=--∏ni i i x n ni x ee L（２）写出对数似然函数：21222)(21)2ln(2),(∑=---=n i i x n l μσπσσμ（３）将),(2σμl 分别对2σμ、求偏导，并令它们都为０，得似然方程组为：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0)(212),(0)(1),(1242221222ni i ni i x n l x l μσσσσμμσμσμ （４）解似然方程组得：x =μˆ，∑=-=ni i x x n 122)(1ˆσ （５）经验证2ˆ,ˆσμ使),(2σμl 达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得2,σμ的极大似然估计分别为：X =μˆ，2122)(1ˆn n i i S X X n =-=∑=σ．２、不可通过求导方法获得极大似然估计：当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求)(θL 的极大值点．例4、设总体X 服从均匀分布),0(θU ，从中获得容量为n 的样本n X X X ,,,21 ，其观测值为n x x x ,,,21 ，试求θ的极大似然估计．分析：当写出其似然函数)(θL 时，我们会发现)(θL 的非零区域与θ有关，因而无法用求导方法来获得θ的极大似然估计，从而转向定义（２）直接求)(θL 的极大值．解：写出似然函数：⎩⎨⎧≤≤≤=-其它场合,00,)()()1(θθθn n x x L为使)(θL 达到极大，就必须使θ尽可能小，但是θ不能小于)(n x ，因而θ取)(n x 时使)(θL 达到极大，故θ的极大似然估计为：)(ˆn X =θ． 进一步，可讨论估计θˆ的无偏性： 由于总体),0(~θU X ，其密度函数与分布函数分别为：⎪⎩⎪⎨⎧<<=其它,00,1)(θθx x p ，⎪⎩⎪⎨⎧≥<<≤=θθθx x x x x F ,10,0,0)(，从而)(ˆn X =θ的概率密度函数为：θθθ<<==--y ny y p y F n p nn n 0,)()]([11ˆ θθθθθθθ≠+====⎰⎰1)()()ˆ(0ˆ)(n ndy ny dy y yp X E E nnn 这说明θ的极大似然估计)(ˆn X =θ不是θ的无偏估计，但对θˆ作一修正可得θ的无偏估计为：)(11ˆn X nn +=θ． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计．综上，可得求极大似然估计值的一般步骤．四、求极大似然估计的一般步骤1、由总体分布导出样本的联合概率函数（或联合密度）；2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)(θL ；3、求似然函数)(θL 的最大值点（常转化为求对数似然函数)(θl 的最大值点）；4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．五、极大似然估计的不变性求未知参数θ的某种函数)(θg 的极大似然估计可用极大似然估计的不变原则，证明从略．定理（不变原则）设θˆ是θ的极大似然估计，)(θg 是θ的连续函数，则)(θg 的极大似然估计为)ˆ(θg ． 例5、设某元件失效时间服从参数为λ的指数分布，其密度函数为0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21 ，试求λ及平均寿命的极大似然估计．分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在指数分布场合，有λ1)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，求其极大似然估计．解：（１）写出似然函数：∑===-=-∏ni ii x n ni x ee L 11)(λλλλλ（２）取对数得对数似然函数：∑=-=ni i x n l 1ln )(λλλ（３）将)(λl 对λ求导得似然方程为：0)(1=-=∑=ni i x n d dl λλλ （４）解似然方程得：xxnn i i 1ˆ1==∑=λ 经验证，λˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X1ˆ=λ； 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为：X X E ==λˆ1)(． 五、小结1、极大似然估计的思想；2、求解未知参数极大似然估计的一般步骤；3、极大似然估计的不变原则．五、作业见参考文献1的第278页第4，5，6页．参考文献：1、苏均和主编：概率论与数理统计，上海财经大学出版社．1999年1版．2、茆诗松等编著：概率论与数理统计，中国统计出版社．1999年1版．3、魏振军编：概率论与数理统计三十三讲，中国统计出版社．2000年1版．4、唐生强主编：概率论与数理统计复习指导，科学出版社．1999年1版．。