最大似然估计法教学提纲
- 格式:doc
- 大小:130.00 KB
- 文档页数:6
概率论与数理统计主讲:四川大学四川大学1§7.1 点估计四川大学3第57讲最大似然估计法(1)四川大学四川大学4最大似然估计法Maximum Likelihood EstimationMLE四川大学5四川大学6最大似然估计法是建立在最大似然原理基础上的一种参数估计法。
所谓最大似然原理是指:假设一个随机试验E 有若干可能的结果A 1, A 2, …。
如果只进行了一次试验,而结果A k 出现了,那么我们就有理由认为试验的条件对结果A k 的出现最有利,即试验E 出现的结果A k 的概率最大。
也叫极大似然估计法。
四川大学四川大学四川大学7例如,设一袋中装有白球和黑球,并且已知两种颜色的球的比例为8:2,但不知道哪一种颜色的球更多。
如果有放回地从袋中取两次球,每次取一个,结果两次都取到黑球,那么我们有理由认为黑球占80%。
因为若黑球占80%,则两次都取到黑球的概率为0.82=0.64。
相反,如果黑球只占20%,则两次都取到黑球的概率为0.22=0.04。
四川大学四川大学四川大学8因为若黑球占80%,则两次都取到黑球的概率为0.82=0.64。
相反,如果黑球只占20%,则两次都取到黑球的概率为0.22=0.04。
因此,两次都取到黑球对我们判断黑球占80%=0.8有利。
最大似然法的基本思想就是:对于已经出现的样本值x 1, x 2,…, x n ,适当地选取参数θ,使试验得出结果X 1=x 1, X 2=x 2, …, X n =x n 的概率最大。
四川大学四川大学最大似然估计法的模型四川大学9四川大学10设总体X 为离散型随机变量,其分布律为其中θ是未知参数,X 1, X 2,…, X n 为来自总体X 的样本,x 1, x 2, …, x n 为其一组样本值。
记{}(;)P X x p x θ==()L θ1122{,,...,}n n P X x X x X x ====1122{}{}{}n n P X x P X x P X x ===⋅⋅⋅=1{}n i i i P X x ===∏1(;)ni i p x θ==∏独立性同分布L (θ)称为样本x 1, …, x n 的似然函数Likelihood function四川大学四川大学11()L θ11{,...,}n n P X x X x ===1(;)n i i p x θ==∏L (θ)称为样本x 1, …, x n 的似然函数由于L (θ)是事件{X 1=x 1, …, X n =x n }的概率,由最大似然估计法的思想,我们希望求这样的使得达到L (θ)的最大值,即ˆθˆ()L θ因为样本值x 1, …, x n 是已知的常数,L (θ)是θ的一元函数。
极大似然估计法教学设计【教学题目】§4.2 极大似然估计法【教学目的】根据《教学大纲》要求和学生已有的知识基础和认知能力,确定以下教学目标:明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法;理解极大似然估计的思想;掌握求极大似然估计值的一般步骤,会求常见分布参数的极大似然估计量。
【教学思想】1、极大似然估计法是建立在极大似然原理基础上的一种重要的统计推断方法,统计推断思想不同于逻辑推断,它所基于的最基本的思想仍然是来源于我们现实生活中的一些很常见的推断法则,常以人们的思维习惯和经验常识为依据,推断时必然伴随着一定的犯错误的概率。
因此从逻辑上认起死理来,统计推断似乎因为不太严谨而被排斥在“科学推断”之外了。
但是在实际生活中,如果都要按照逻辑推断来思考,那么将会给你的生活带来很大的麻烦。
在教学过程中,要让学生逐步体会统计推断思想的利与弊。
2、极大似然估计法的“极大似然”的原始含义就是“看起来最像”的意思,故极大似然原理指的是:概率最大的事件最可能发生,或一次实验中已发生事件的概率应该最大。
3、“以教师为主导、以学生为主体”引导学生主动学习、思考,并通过实际问题案例的分析及应用,达到教会学生使用极大似然估计法来解决实际问题的目的,体现“授人以渔”。
【教学分析】1、本次课主要包括以下内容:(1)分析引例,说明极大似然估计的原理;(2)求极大似然估计值的一般步骤;(3)极大似然估计法的简单应用。
2、重难点分析:极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法,其原理是根据“概率最大的事件最可能发生;反之,在一次实验中,若某事件已发生,则其概率应该最大”的统计推断思想去估计未知参数。
极大似然估计值的求解是本次课的重点。
全概率公式的难点在于对极大似然思想原理的阐述。
在教学中常出现以下难点:一是原理复杂,导致教师难于讲解,学生理解困难;二是学生对方法机械地记忆,忽略了统计思想的建立与统计方法的掌握。
极大似然估计课程设计一、教学目标本课程的教学目标是使学生掌握极大似然估计的基本概念、原理和方法,能够运用极大似然估计解决实际问题。
具体分为以下三个部分:1.知识目标:使学生了解极大似然估计的定义、原理和计算方法,理解极大似然估计在统计推断中的应用。
2.技能目标:通过实例分析,培养学生运用极大似然估计解决问题的能力,使学生能够独立完成极大似然估计的计算和分析。
3.情感态度价值观目标:培养学生对统计学的兴趣和热情,使学生认识极大似然估计在科学研究和实际应用中的重要性,培养学生的科学精神和创新意识。
二、教学内容本课程的教学内容主要包括极大似然估计的基本概念、原理和方法。
具体安排如下:1.第一课时:介绍极大似然估计的定义和原理,讲解极大似然估计的计算方法。
2.第二课时:通过实例分析,展示极大似然估计在统计推断中的应用,引导学生学会运用极大似然估计解决问题。
3.第三课时:讲解极大似然估计的性质和局限性,使学生了解极大似然估计的适用范围和注意事项。
4.第四课时:通过练习题,巩固学生对极大似然估计的理解和应用能力。
三、教学方法为了提高教学效果,本课程将采用多种教学方法相结合的方式进行教学:1.讲授法:讲解极大似然估计的基本概念、原理和方法,使学生掌握基础知识。
2.讨论法:通过分组讨论,引导学生深入理解极大似然估计的原理和应用,培养学生的思考和交流能力。
3.案例分析法:通过实例分析,使学生学会运用极大似然估计解决实际问题,提高学生的实践能力。
4.实验法:安排课后实验,让学生独立完成极大似然估计的计算和分析,巩固所学知识。
四、教学资源为了支持本课程的教学,我们将准备以下教学资源:1.教材:《统计学原理》等相关教材,为学生提供基础知识。
2.参考书:《极大似然估计的应用》等参考书籍,为学生提供更多的学习资料。
3.多媒体资料:制作课件、视频等多媒体资料,丰富教学手段,提高学生的学习兴趣。
4.实验设备:为学生提供计算机、统计软件等实验设备,方便学生进行课后实验。
最大似然估计法
最大似然估计法的基本思想
最大似然估计法的思想很简单:在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个作为真的估计。
我们分两种情进行分析:
1.离散型总体
设为离散型随机变量,其概率分布的形式为,则样
本的概率分布为,
在固定时,上式表示取值的概率;
当固定时,它是的函数,我们把它记为并称
为似然函数。
似然函数的值的大小意味着该样本值出现的可能性的大小。
既然已经得到了样本值,那它出现的可能性应该是大的,即似然函数的值应该是大的。
因而我们选择使达到最大值的那个作为
真的估计。
2.连续型总体
设为连续型随机变量,其概率密度函数为则为从该总体抽出的样本。
因为相互独立且同分布,于是,样本的联合概率密度函数为
,在是固定时,它
是在处的密度,它的大小与落
在附近的概率的大小成正比,而当样本值固定时,它是
的函数。
我们仍把它记为并称
为似然函数。
类似于刚才的讨论,我们选择
使最大的那个作为真的估计。
总之,在有了试验结果即样本值时,似然函数反映了的各
个不同值导出这个结果的可能性的大小。
我们选择使达到最大值的那个作为真的估计。
这种求点估计的方法就叫作最大似然法。
7.2.2 最大似然估计的求法
假定现在我们已经观测到一组样本要去估计未知参数。
一种直观的想法是,哪一组能数值使现在的样本出现的可能性最大,哪一组参数可能就是真正的参数,我们就要用它作为参数的估计值。
这里,假定我们有一组样本.如果对参数的两组不同的值和,似然函数有如下关系
,
那么,从又是概率密度函数的角度来看,上式的意义就是参
数使出现的可能性比参数使出现的可能性大,当然参数比更像是真正的参数.这样的分析就导致了参数估计的一种方
法,即用使似然函数达到最大值的点,作为未知参数的估计,这就是所谓的最大似然估计。
现在我们讨论求最大似然估计的具体方法.为简单起见,以下
记,求θ的极大似然估计就归结为求的最大值点.由于对数函数是单调增函数,所以
(7.2.1)
与有相同的最大值点。
而在许多情况下,求的最大值点比较简单,于是,我们就
将求的最大值点改为求的最大值点.对关于求导数,并命其等于零,得到方程组
, (7.2.2) 称为似然方程组。
解这个方程组,又能验证它是一个极大值点,则它必是,也就
是的最大值点,即为所求的最大似然估计。
大多常用的重要例子多属于这种情况。
然而在一些情况下,问题比较复杂,似然方程组的解可能不唯一,这时就需要进一步判定哪一个是最大值点。
还需要指出,若函数关于的导数不存在时,我们就无法得到似然方程组 (7.2.2),这时就必须根据最大似然估计的定义直接去的最大值点。
在一些情况下,我们需要估计。
如果分别是的最大似然估计,则称为的最大似然估计。
下面我们举一些例子来说明求最大似然估计的方法。
例7.2.1 设从正态总体抽出样本,这里未知参数为
mm 和(注意我们把看作一个参数)。
似然函数为
=
它的对数为
,
似然方程组为
由第一式解得
,(7.2.3)
代入第二式得
. (7.2.4)
似然方程组有唯一解(,),而且它一定是最大值点,这是因为
当或或∞时,非负函数。
于是和的最大似然估计为
,. (7.2.5)
这里,我们用大写字母表示所有涉及的样本,因为最大似然估计和都是统计量,离开了具体的一次试验或观测,它们都是随机的。
例7.2.2设总体服从参数为的泊松分布,它的分布律为
,
有了样本之后,参数λ的似然函数为
,
似然方程为
,
解得
.
因为的二阶导数总是负值,可见,似然函数在处达到最大值。
所
以,是λ的最大似然估计。
例7.2.3设总体为上的均匀分布,求的最大似然估计。
的概率密度函数为
对样本,
很显然,L(a,b)作为a和b的二元函数是不连续的。
这时我们不能用似然方程组(7.2.2)来求最大似然估计,而必须从最大似然估计的定义出发,求L(a,b)的最大值。
为使L(a,b)达到最大,b-a应
该尽量地小,但b又不能小于,否则,L(a,b)=0。
类似地,a不能大过。
因此,a和b的最大似然估计为
,
.
现在为止,我们以正态分布,泊松分布,均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。
在我们所举的例子中,除了均匀分布外,两种估计都是一致的。
矩估计的优点是简单,只需知道总体的矩,总体的分布形式不必知道。
而最大似然估计则必须知道总体分布形式,并且在一般情况下,似然方程组的求解较复杂,往往需要在计算机上通过迭代运算才能计算出其近似解。