当前位置：文档之家 › 极大似然估计 参数回归模型

极大似然估计 参数回归模型

  • 格式：docx
  • 大小：15.12 KB
  • 文档页数：2

极大似然估计 参数回归模型

极大似然估计是统计学中常用的一种参数估计方法，它通过寻找使得观测数据出现的概率最大化的参数值来估计模型的参数。在回归分析中，极大似然估计可以用来估计线性回归模型的参数。

假设我们有一个简单的线性回归模型，表示为：

Y = β0 + β1X + ε。

其中，Y是因变量，X是自变量，β0和β1是我们要估计的参数，ε是误差项。

我们的目标是通过观测数据来估计β0和β1的值，使得观测数据出现的概率最大化。假设我们有n个观测数据，表示为{(x1,

y1), (x2, y2), ..., (xn, yn)}，我们假设误差项ε服从正态分布，即ε~N(0, σ^2)。

我们可以建立似然函数来描述观测数据出现的概率。对于第i个观测数据，其观测值yi可以表示为：

yi = β0 + β1xi + εi.

其中，εi服从正态分布N(0, σ^2)。

似然函数可以表示为：

L(β0, β1, σ^2) = Π(1/√(2πσ^2)) exp(-(yi β0

β1xi)^2 / (2σ^2))。

为了简化计算，通常我们会对似然函数取对数，得到对数似然函数：

l(β0, β1, σ^2) = Σ(-log(√(2πσ^2))) Σ((yi β0

β1xi)^2 / (2σ^2))。

然后通过最大化对数似然函数来估计参数β0和β1的值。这通常可以通过数值优化算法来实现，比如梯度下降法或者牛顿法。

通过极大似然估计，我们可以得到对参数β0和β1的估计值，从而建立起回归模型。这种方法在统计学和机器学习中被广泛应用，能够帮助我们通过观测数据来估计模型参数，从而进行预测和推断。

合集下载

INGARCH模型拟极大似然估计的相合性

INGARCH模型拟极大似然估计的相合性

第４８卷第４期　２０１０年７月　吉林大学学报（理学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ（Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）　Ｖｏ１．４８　Ｎｏ．４　Ｊｕｌｙ　２０１０　

ＩＮＧＡＲＣＨ模型拟极大似然估计的相合性　

潘保国，林依勤　

（湖南科技学院数学与计算科学系，湖南永州４２５１００）　

摘要：利用拟极大似然方法研究ＩＮＧＡＲＣＨ模型参数的估计问题，证明了拟极大似然估计的　

强相合性．模拟结果表明，在样本数较大时，拟极大似然估计比最大似然估计效果更好．　

关键词：ＩＮＧＡＲＣＨ模型；平稳性；拟极大似然；相合性　

中图分类号：０２１２．６　文献标志码：Ａ　文章编号：１６７１—５４８９（２０１０）０４—０６００－０５　

Ｃｏｎｓｉｓｔｅｎｃｙ　ｏｆ　Ｑｕａｓｉ－ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　Ｅｓｔｉｍａｔｏｒｓ　

ｉｎ　ＩＮＧＡＲＣＨ　Ｍｏｄｅｌ　

ＰＡＮ　Ｂａｏ—ｇｕｏ，ＬＩＮ　Ｙｉ—ｑｉｎ　（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ｃｏｍｐｕｔａｔｉｏｎ，Ｈｕｎａｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，　Ｙｏｎｇｚｈｏｕ　４２５１００，Ｈｕｎａｎ　Ｐｒｏｖｉｎｃｅ，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｏｆ　ｐａｒａｍｅｔｅｒ　ｅｓｔｉｍａｔｉｏｎ　ｉｎ　ｔｈｅ　ＩＮＧＡＲＣＨ　ｍｏｄｅｌ　ｗｅｒｅ　ｓｔｕｄｉｅｄ　ｂｙ　ｍａｋｉｎｇ　ｕｓｅ　ｏｆ　ａ　

ｍｅｔｈｏｄ　ｏｆ　ｑｕａｓｉ—ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ．Ｓｔｒｏｎｇ　ｃｏｎｓｉｓｔｅｎｃｙ　ｏｆ　ｔｈｅ　ｅｓｔｉｍａｔｏｒｓ　ｗａｓ　ｐｒｏｖｅｄ．Ｗｈｅｎ　ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　

ｔｈｅ　ｓａｍｐｌｅ　ｉｓ　ｃｏｍｐａｒａｔｉｖｅｌｙ　ｌａｒｇｅ，ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｓｔｕｄｙ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ｑｕａｓｉ—ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ　ｅｓｔｉｍａｔｏｒｓ　

均匀分布场合下参数的极大似然估计

均匀分布场合下参数的极大似然估计

第２８卷第６期　２０１５年１１月　唐山学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｔａｎｇｓｈａｎ　Ｃｏｌｌｅｇｅ　Ｖｏ１．２８　ＮＯ．６　ＮＯＶ．２Ｏ１５　均匀分布场合下参数的极大似然估计　郝玉芹　（唐山学院基础教学部，河北唐山０６３０００）　摘要：针对不同区间上的均匀分布，应用次序统计量，给出了未知参数的极大似然估计，并讨论了估　计量的无偏性。　关键词：均匀分布；次序统计量；极大似然估计　中图分类号：０２１２．１文献标志码：Ａ文章编号：１６７２—３４９Ｘ（２０１５）０６—００１７一Ｏ２　ＤＯＩ：１０．１６１６０／ｊ．ｃｎｋｉ．ｔｓｘｙｘｂ．２０１５．０６．００７　Ｏｎ　Ｅｓｔｉｍａｔｉｏｎ　ｏｆ　Ｐａｒａｍｅｔｅｒ　Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　ｉｎ　Ｕｎｉｆｏｒｍ　Ｄｉｓｔｒｉｂｕｔｉｏｎ　ＨＡ０　Ｙｕ－ｑｉｎ　（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｆｕｎｄａｍｅｎｔａｌ　Ｓｃｉｅｎｃｅ　Ｔｅａｃｈｉｎｇ，Ｔａｎｇｓｈａｎ　Ｃｏｌｌｅｇｅ，Ｔａｎｇｓｈａｎ　０６３０００，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｅ　ａｕｔｈｏｒ　ｏｆ　ｔｈｉｓ　ｐａｐｅｒ　ｅｓｔｉｍａｔｅｓ　ｔｈｅ　ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ　ｏｆ　ｕｎｋｎｏｗｎ　ｐａｒａｍｅｔｅｒｓ　ａ　ｇａｉｎｓｔ　ｔｈｅ　ｕｎｉｆｏｒｍ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｉｎｔｅｒｖａｌｓ　ａｎｄ　ｗｉｔｈ　ｏｒｄｅｒ　ｓｔａｔｉｓｔｉｃｓ，ａｎｄ　ｄｉｓｃｕｓｓｅｓ　ｂｉ　ａｓｅｄｎｅｓｓ　ｏｆ　ｔｈｅ　ｅｓｔｉｍａｔｉｏｎ．　Ｋｅｙ　Ｗｏｒｄｓ：ｕｎｉｆｏｒｍ　ｄｉｓｔｒｉｂｕｔｉｏｎ；ｏｒｄｅｒ　ｓｔａｔｉｓｔｉｃｓ；ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ　ｅｓｔｉｍａｔｔｉｏｎ　Ｏ　引言　极大似然估计（Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　Ｅｓｔｉｍａｔｅ，简称　ＭＬＥ）是数理统计中最重要、应用最广泛的参数点估计方法，　其思想始于Ｇａｕｓｓ的误差理论，１８２１年由Ｇａｕｓｓ首先提出，　但当时并未获得广泛应用。Ｒ．Ａ．Ｆｉｓｈｅｒ在１９１２年对Ｇａｕｓｓ　提出的ＭＬＥ进行了理论探讨，将它作为一个一般的点估计方　法提了出来，从而获得了大家的认同，之后许多统计学家探讨　了ＭＬＥ的性质，使这种估计方法得到了广泛的研究和应用。　在各种估计方法中，ＭＬＥ相对地说比较优良，比如　ＭＬＥ的不变性（原则）作为一种统计思想有其合理性，得到　了人们的认可。尤其是在大样本场合下，ＭＬＥ的优良性更　为明显，有很好的结果，比如相合性与渐近正态性等＿】］。但　也有不足之处，ＭＬＥ要求样本联合分布有参数形式，在分布　未知而要估计均值和方差时就无能为力了。同时，在小样本　场合下，还不能显现出它的优良性。　设总体Ｘ服从均匀分布，（Ｘ　，…，　）是来自总体的一　个样本，它们相互独立，与总体具有相同分布，（ｚ　＿．，ｚ　）为　样本的取值。记次序统计量为Ｘ（１ｊ—ｍｉｎ（Ｘ　，…，　），Ｘｃ　一　ｍａｘ（Ｘ　”，Ｘ　），次序统计量的取值记为ｚ　，…，ｚ（　总体　分布函数记为Ｆ（．ｚ），总体的概率密度函数记为ｌ厂（　），总体　的数学期望为Ｅ（ｘ）。　在现实生活中，如计算机产生的随机数、正弦波的随机　相位、候车时间和计算时“四舍五人”产生的舍人误差等问题　通常都服从均匀分布，这显示了均匀分布的重要性。本文讨　论不同区间上均匀分布参数的极大似然估计，并讨论估计量　的无偏性。　ｌ　均匀分布参数的极大似然估计　１．１　具有唯一极大似然估计的情形　１．１．１总体Ｘ服从均匀分布Ｕ（Ｏ，　）的场合　简记Ｘ￣Ｕ（Ｏ，　），（Ｘ　，…，　）是来自总体的一个样本，　（ｚ　，…，ｚ　）为样本的取值。　ｒ　１　这时Ｘｉ的密度函数为厂（　）：　言，Ｏ＜ｘｉ＜Ｏ，　一１，…，　ｌ０，其它　１＂／，０为待估参数（０＞０），似然函数为Ｌ（　，…，ｚ　；　）一　，１　，１　ｊ　’。＜　ｔ＜　一Ｊ　’。＜　【１）＜　ｃｎ　＜　，无法由似然方程　【０，其它　ｌ０，其它　Ｌ　（　”，Ｘ　；　）一０求０的极大似然估计。根据极大似然估　计的定义，使似然函数Ｌ（ｘ　”，ｚ　；　）＝　１取得最大值，由　表达式可知，０越小似然函数越大，当０为ｚ　时似然函数取　收稿日期：２０１５—０７—０２　作者简介：郝玉芹（１９５８一），女，河北唐山人，副教授，主要从事高等数学与工程数学研究。

一类均匀分布参数的极大似然估计及优良性

一类均匀分布参数的极大似然估计及优良性

２００７年１１月　

第４期　吉林师范大学学报（自然科学版）　

Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉｌｉｎ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｅｄｉｔｉｏｎ）　№．４　

ＮＯＶ．２００７　

一类均匀分布参数的极大似然估计及优良性　

刘　锐　

（吉林师范大学数学学院，吉林四平１３６０００）　

摘　要：该文讨论了Ｕ［一　，０］上参数　的极大似然估计及修正后的极大似然估计的均方误差和相合性，并进　

一步证明了修正后的极大似然估计还是参数　的ＵＭＶＵＥ．　

关键词：均匀分布参数；极大似然估计；强相合；ｒ一阶矩相合　

中图分类号：Ｏ２１２　文献标识码：Ａ　文章编号：１０００—１８４０一（２００７）０４—００６７—０２　

设总体Ｘ服从Ｕ【一　，０Ｊ（　＞０是未知参数），　

Ｘ１，Ｘ２，…，Ｘ　是Ｘ的一个容量为／１，的子样．　

的分布密度函数为：　

，（　）：｛吉，　Ｌ　

０，　其它　子样似然函数为：　

￡ｃ　；　－，　：，…。　，＝｛　０一：’一　≤　‘　．喜　（ｎ）≤。　Ｌ　。　其它　

显然，　￡＝一　（１）是　的唯一的极大似然估计．　

（１）的分布密度函数为：　

ｆｌ（　；　）：　，一　＜　＜０　

因ＥＸ㈤＝　・　ｄ　＝　，　

而晚＝一　（１）＝　≠　，　

从而　￡是　的有偏估计．估计的偏差为功　。则：　

功￡＝一　一－，－ｏ（ｎ一∞），则　是　的渐近　

无偏估计．　

令　＝　￡＝一　（１），　

则曲：　，即　为　的无偏估计．　

下面比较　￡与　的均方误差，分别用　Ｌ和　

表示．则：　

￡＝Ｅ（　）一（∞￡）　

＝ＥＸ（１）　一（ＥＸ（１））　，ｌ　２　一（／１，＋１）　（／１，＋２）　￡＝　￡＋（功￡）　２０２　一（，ｌ＋１）（，ｌ＋２）　

ＤＯ＝（　）　ＤＯ￡＝　

又因为西＝　，所以　＝ＤＯ＝　，　

比较可得：　＜　￡，／１，≥２　

即：修正后的极大似然估计　不仅是　的无偏　

估计而且均方误差较优．　

下面讨论一下　与　的相合性．　

由　的分布密度函数：　

三参数Weibull分布参数的极大似然估计数值解法

三参数Weibull分布参数的极大似然估计数值解法

第３９卷第１期　２００７年２月　南　京　航　Ｊｏｕｒｎａｌ　ｏｆ　Ｎａｎｊｉｎｇ　空航天大学　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｅｒｏｎａｕｔｉｃｓ　学　报　＆Ａｓｔｒｏｎａｕｔｉｃｓ　Ｖｏ１．３９　Ｎｏ．１　Ｆｅｂ．２００７　

三参数Ｗｅｉｂｕｌ１分布参数的极大似然估计数值解法　

杨谋存　聂　宏　

（１．南京航空航天大学能源与动力学院，南京。２１００１　６；２．南京航空航天大学航空宇航学院，南京，２１００１　６）　

摘要：利用降阶思想，给出了一种新的求解三参数Ｗｅｉｂｕｌ１分布参数的极大似然估计数值方法。该方法首先假定　形状参数已知，将三元方程组转化为二元方程组。并用二分法求解该二元方程组的数值解，然后将尺度参数和位　

置参数表示成形状参数的函数，此时极大似然函数仅是关于形状参数的单变量函数，再次应用二分法即可得出　形状参数的最优估计结果。该算法稳定，不需要赋予初始值，对样蕾数量没有限制。与其他方法相比，具有计算精　度高、运算速度快的优点。便于工程应用。　

关键词：三参数Ｗｅｉｂｕｌ１分布；极大似然估计；参数估计；二分法；降阶　中图分类号：ＴＢ１１４．３　文献标识码：人　文章编号：１００５　２６１５（２００７）０１—００２２—０４　

Ａｄｖａｎｃｅｄ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　Ｅｓｔｉｍａｔｉｏｎ　

Ｏｆ　Ｔｈｒｅｅ　Ｐａｒａｍｅｔｅｒ　Ｗｅｉｂｕｌｌ　Ｄｉｓｔｒｉｂｕｔｉｏｎ　

Ｙａｎｇ　Ｍｏｕｃｕｎ　，Ｎｉｅ　Ｈｏｎｇ。　

（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｅｎｅｒｇｙ　ａｎｄ　Ｐｏｗｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｅｒｏｎａｕｔｉｃｓ　

８．Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ，２１００１６，Ｃｈｉｎａ：　

２．Ｃｏｌｌｅｇｅ　ｏｆ　Ａｅｒｏｓｐａｃｅ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ａｅｒｏｎａｕｔｉｃｓ＆．Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ，２１００１　６，Ｃｈｉｎａ）