线性回归参数的有偏估计

北方民族大学学士学位论文论文题目线性回归参数的有偏估计院(部)名称:信息与计算科学学院学生姓名:赵娟专业:统计学号:20040340指导教师姓名:吴可法教授论文提交时间:2008年5月26日论文答辩时间:2008年6月1日学位授予时间:北方民族大学教务处制摘要在线性统计模型估计理论与实际应用中，回归参数的最小二乘估计占有重要的地位。

但当设计阵X存在复共线性时，最小二乘估计存在着明显的缺陷，线性有偏估计则是改进最小二乘估计最直接的方法。

统计学家提出了各种有偏估计，其中影响较大的有岭估计、Stein压缩估计、主成分估计等。

本文系统的讨论了各种有偏估计，主要是以下几方面：1)在各种有偏估计中，岭估计的应用是最为广泛的。

本文第3章综述了岭估计的性质，并从均方误差、Pitman准则、相对效率三个方面讨论了岭估计优于最小二乘估计的条件。

2)本文第4章提出了一种常用有偏估计类，用一个统一的表达式将岭估计、压缩估计等各种有偏估计概括起来，讨论了其均方误差和均方残差的变化关系及其选择参数矩阵K和S的()Q c准则，并证明了在此准则下得到的估计量是最优的。

3)本文第5章提出了一种新的有偏估计类——对角线性有偏估计类，给出了其各种形式下对应的有偏估计，并从均方误差、Pitman准则、相对效率三个方面导出了对角线性有偏估计类优于最小二乘估计的条件。

4)本文第6章给出了有偏估计与最小二乘估计相对效率的一种新定义，并对各种有偏估计在相对效率意义下优于最小二乘估计的条件进行了理论推导。

关键词均方误差，相对效率，Pitman准则，常用有偏估计，对角线性有偏估计AbstractIn the theoretical research and practical application of estimation of parameters in linear statistical models, the least-squares estimation (LSE) of regression parameters occupies an important position. But when the design array X has collinearity, the LSE shows a clear defect. Linear biased estimate is the most direct way in improving the LSE.Statisticians have presented a variety of biased estimates, in which the ones who have a greater impact are Ridge estimation, Stein estimation, the main principal components, etc. In this paper, the various systems of biased estimations are discussed, the mainly results are as follows:1) In variety of biased estimations, Ridge estimation is the widest one in application. In chapter 3 of this paper, the properties of the Ridge estimation, and the conditions that Ridge estimation be better than the LSE is systematically discussed from the three points: mean square error, Pitman criteria, and the relative efficiency.2) In chapter 4 of this paper, a commonly used type of biased estimate is presented, which sum up the Ridge estimation, Stein estimation, the main principal components and other biased estimations with a unified expre ssion. What’s more, its mean square error and the residuals of all change is expounded, the choice of K and S under the ()Q c criteria is discussed, and the estimation is optimal under the ()Q c criteria has been proved.3) In chapter 5 of this paper, a new type biased estimate-linear diagonal of biased estimation of the category is presented, and its various forms under the corresponding biased estimate is given. What’s more, the conditions that diagonal biased estimation better than the LSE is got from the three points: mean square error, Pitman criteria, and the relative efficiency.4) In chapter 6 of this paper, a new definition of relative efficiency of the biased estimate to LSE is introduced, and the conditions that various biased estimations be superior than LSE in the sense of relative efficiency is derived theoretically.Key words mean square error, the relative efficiency, Pitman criteria, commonly used type of biased estimation, linear diagonal of biased estimation目录第1章引言 (1)1.1有偏估计的发展历史和研究现状 (1)1.2本文的研究目的及内容 (2)第2章预备知识 (3)2.1线性模型及其典则形式 (3)2.2度量有偏估计优劣的三个准则 (4)2.2.1 均方误差 (4)2.2.2 Pitman准则 (4)2.2.3 相对效率 (5)2.3复共线性 (6)2.4诊断共线性的方法 (6)第3章几种有偏估计 (8)3.1岭估计 (8)3.1.1 岭估计的表达 (8)3.1.2 岭估计的性质 (8)3.1.3 岭参数k的确定方法 (10)3.1.4 岭估计的优良性 (11)3.2广义岭估计 (12)3.3S TEIN压缩估计 (13)3.4主成分估计 (13)第4章常用有偏估计类 (14)4.1常用有偏估计类及其性质 (14)4.2常用有偏估计类参数选择的()Q c准则 (15)第5章一种新的有偏估计类——对角线性有偏估计类 (19)5.1对角线性有偏估计的定义及性质 (19)5.2对角线性有偏估计的优良性质 (20)5.2.1 均方误差意义下，对角线性有偏估计的优良性 (20)5.2.2 Pitman准则下对角线性有偏估计的优良性 (20)5.2.3 对角线性有偏估计与LS估计的相对效率 (22)第6章有偏估计的相对效率 (23)6.1对角线性有偏估计类的相对效率 (23)6.2常用有偏估计类的相对效率 (24)6.3广义岭估计的相对效率 (25)6.4岭估计的相对效率 (26)第7章结束语 (27)致谢 (28)参考文献 (29)第1章 引 言线性统计模型是现代统计学中应用最广泛的模型之一，其应用遍及工业、农业、经济、生物、医学、工程技术、社会科学、国防科技、地质等领域。

线性统计模型包括了线性回归模型、方差分析模型、协方差分析模型、方差分量模型等，本文主要涉及到的是多元线性回归模型。

线性回归模型的参数估计一直是统计学家们研究的热点问题，其中，最小二乘估计(LSE)由于其具有Gauss-Markov 性而被广泛应用。

然而，随着研究的深入统计学家们发现，在很多大型回归问题中，LS 估计的效果很不理想。

近几十年来，统计学家们针对最小二乘估计的改进做了很多研究，他们从消除多重共线性或从减小估计的均方误差出发，提出了各种新的估计方法，诸如岭估计、压缩估计、主成分估计、特征根估计等。

这些估计有一个共同点，他们的均值不等于待估参数，即具有有偏性，因此将这些估计统称为有偏估计。

他们都从不同角度改进了LS 估计，本文将进一步讨论它们的性质。

1.1有偏估计的发展历史和研究现状考虑线性模型,X =+Y βε ()0,E =ε 2(),n C O V I σ=ε (1.1.1) 其中，X 为n p ⨯阶满秩设计阵，β为1p ⨯阶待估回归参数向量，最小二乘估计是最早、最基础的估计方法，表示为'1'ˆ()X X X -=βy在线性无偏估计类中，最小二乘估计具有方差最小性，因而自Gauss 创立最小二乘以来，LS 估计一直是唯一被广泛应用的重要估计。

但是使用最小二乘法的一个前提假设是自变量之间不相关, 然而在含有较多自变量的大型回归问题中，自变量之间容易出现严重的多重共线性，'X X 呈现病态，至少有一个特征根接近于0，此时若用LS估计，其均方误差21ˆ()1/pi i M SE σλ==∑β (12,,...,p λλλ为'X X 的特征值)趋近于无穷大，LS 估计的性能变得很差，特别是在经济问题中，回归参数的经济意义往往得不到合理的解释。

于是，很多统计学家开始致力于改进LS 估计，并提出了许多新的估计方法，影响较大的主要是各种有偏估计。

1955年Stein 证明了当维数大于2时，在平方损失下，均值向量的LS 估计是不可容许的；紧接着James 和Stein [1]提出了James ——Stein 压缩估计，在二次损失下，它优于LS 估计；1965年，W.F.Massy [2]针对设计矩阵的病态提出了一种有偏估计——主成分估计；1970年，Hoerl和Kennard[3,4]提出了另外一种压缩型有偏估计——岭估计。