平衡损失函数下线性回归系数的Stein估计及其性质

1 绪论 1.1线性回归模型和最小二乘估计 近现代统计学中线性回归模型是最为重要的模型，它在科学研究以及工农业生产当中都有十分广泛的应用，比如产品统计质量管理，经验公式的搜寻，试验数据的处理，市场预测，地质勘探，气象预报等。

线性回归模型是用来描述一个随机变量y与变量12,,pxxx之间的线性关系的，一般具有下述形式 YXe，()0Ee，2()nCoveI (1.1) 一般我们将矩阵X称为设计矩阵。 为了简便起见，我们之后的研究讨论都基于以下模型

YXe，2(0,)peNI (1.2) 线性回归模型中最为常见也是最基本的问题是其回归系数的估计。回归系数的估计方法很多，发展最早也是最基本的方法是最小二乘法，这种方法是由

Legendre和Gauss先后于1806年和1809年独立提出。对于参数和，将它们的最小二乘估计(LS)定义为 2'1'2ˆˆˆ(),YXXXXYnp



统计学家通过对ˆ的大量研究，发现其具有很多优良的性质。 性质1.1 ˆ是的无偏估计，并且2'1ˆ()()VarXX。 性质1.2 对于模型(1.1)，的任意一个线性函数'的最小方差线性无偏估计(BLUE)是'ˆ，是1m维向量。 性质1.3 LS估计在线性估计类中是可容许估计。 我们假设误差向量e服从多元正态分布2(0,)eN，那么模型（1.1）中参

数的最小二乘估计ˆ有更好的性质。 1.2 最小二乘估计变坏的原因 由于最小二乘估计在线性估计类中的最优性，我们在很长一段时间内都把最小二乘估计当作线性回归模型参数估计的最好估计。然而，容许性理论的不断发展和人们对于含有很多变量的回归问题的研究，人们逐渐发现在某些情况下最小二乘估计的性质变得不再那么优秀。为了探讨最小二乘估计性质变坏的原因，为了方便后文讨论研究，先给出可容许估计的定义以及度量估计好坏与否的均方误差的定义。

定义1.1 1ˆ和2ˆ是的两个估计，若对于损失函数(,)L

(1)12ˆˆ((,))((,))ELEL，对于所有成立， (2)至少存在一个，使得上式中不等号成立。 那么我们称1ˆ关于损失函数(,)L一致优于2ˆ。如果在一个估计类中，不存在

一致优于ˆ的估计，我们就称ˆ在这个估计类中关于损失函数(,)L是的可容许估计。我们简称为的可容许估计。若不然，我们称ˆ是的不可容许估计。 定义1.2 假设参数向量的估计量是ˆ，我们称 2'ˆˆˆˆ

()()()MSEEE

是ˆ的均方误差。 在理论分析当中，最小二乘法估计具有不可容许性。1955年，Stein证明了对于多元正态分布，在平方损失函数下，它的均值向量的最小二乘估计具有不可容许性。这一重大发现促使人们对最小二乘估计重新加以研究。经研究发现，最小二乘估计的优良性质仅在线性无偏估计类中存在，然而在非线性估计类中，最小二乘估计的优越性便不再存在。 在实际应用中，最小二乘估计法对于处理多维的复共线性数据的乏力性。电子计算机的飞速发展，使得人们经常处理一些包含较多变量的回归问题，大量应用实践证明，在复杂的大型回归模型问题中。最小二乘估计表现并不理想。比如某些回归系数的估计的绝对值非常大，有时回归系数的估计值的符号和问题的实际意义互相矛盾等等。科学研究表明，产生上述问题的重要原因就是回归自变量之间存在近似的线性关系，我们称为复共线性。这时设计矩阵X的病态（矩阵

'XX的特征根中至少有一个接近于0）的，即使最小二乘法估计的方差在线性无

偏估计类中是最小的，但其值很大，这就说明这种情况下的最小二乘估计的精度不高。这是由于最小二乘估计均方误差是 2'1211ˆ()()piiMSEtrXX



由上式可以看出，矩阵'XX的特征根只要有接近于零的，ˆ()MSE的值就会异常大。 遇到这种情况，我们就不能再用最小二乘估计来估计回归参数了。那么我们就需要寻找更好的估计来替代最小二乘估计。

1.3 几种影响深远的有偏估计 由于某些最小二乘估计不再优良的估计此类情况，近五十年来统计学家们研究了关于最小二乘估计的改进问题，相继提出了一些改进方法。一种方向就是设法消除回归自变量之间的复共线性，从而提出了特征根估计，主成分估计等。第

二种方向是减小的最小二乘法估计的均方误差ˆ()MSE，从而提出了Stein估计，岭估计以及Liu估计等。这些方法有一个共同点，就是估计的数学期望不等于待估的未知参数，故人们将这些估计统称为线性回归参数的有偏估计。我们考虑从减小均方误差的方向出发得到的有偏估计，影响力较大的有下面几种。 （一）岭估计及广义岭估计 岭估计是一种有偏估计，是对最小二乘法估计的改进，这种估计的研究与应用受到统计学家们的广泛重视。 定义1.3 {对线性回归模型（1.2），回归系数的岭估计定义为

'1'ˆ()()kXXkIXY （1.3）

上式中0k称作岭参数，显然，我们发现最小二乘估计是0k时的特殊情况。岭估计与最小二乘估计相比，把'XX换成了'XXkI。直观上来说这样做

的原因也是十分明显的。当X呈病态的时候，'XX的特征值至少存在一个非常接近零，然后'XXkI的特征根接近于零的程度就会大大改善，先前设计矩阵的复共线性也就不复存在，岭估计的均方误差也就小于最小二乘估计了。由大样本理论来看，满足一定条件下的岭估计的收敛速度不低于最小二乘估计。 沿着上述方向深入思考，我们发现如果以对角元不必全都相等的对角矩阵

12(,,,)(0,1,,)piKdiagkkkkip替代kI，能够进一步减小均方误差。于是

我们有了下面的广义岭估计。 定义1.4 对线性回归模型（1.2），定义回归系数的广义岭估计为 '1'ˆ()()kXXKXY （1.4）

其中12(,,,)pKdiagkkk。 (二)Stein估计 岭估计是将最小二乘估计向远点压缩后得到的，一般，他们是对ˆ各个分量的不均匀压缩。而Stein估计是一种均匀压缩估计，是由统计学家Stein于1955年提出的。它是提出最早，也是最简单的无偏估计。虽然它的应用不及岭估计，但扔在有偏估计领域占有重要地位。

定义1.5 ˆˆ()scc是的Stein估计，此处01c我们称之为压缩系数，c

在区间[0,1]上变化时，就生成了一个估计类。 Stein估计中最为重要的是James-Stein估计，我们简记为J-S估计。Stein估计的具体性质我们会在后文作出详细的介绍。 （三）Liu估计 下面介绍一种比较新的估计，也就是Liu估计。Liu估计是Liu于1993年提出的新的有偏估计。近十年以来，Liu估计得到了众多统计学家的广泛关注，统计学者对其进行了大量研究。。 定义1.6 在线性模型(1.2)中，我们称

'1'ˆ()()dXXIXYd (1.5)

为回归系数的Liu估计。其中01d是非随机常数，，实际应用中，我们要慎重考虑d的选取。 和前文的岭估计类似，我们可以将式(1.5)中的d换成矩阵D，这样即可将Liu估计推广得到广义Liu估计。 不难看出，上述三种估计均是从减小均方误差的方向提出，一些统计学家讨论了这些有偏估计之间的关系。[4]得出了J-S估计优于岭估计的条件，[5]将Liu估计，和岭估计，，广义Liu估计和广义岭估计进行了深入比较。[6]将Stein估计与岭估计组合在一起，[7]中把Liu估计与岭估计组合在了一起，最后得出的新估计从某种意义上更进一步地改进了最小二乘法估计。

1.4平衡损失函数 对于模型(1.2)中回归系数， 以拟合优度的角度出发能够得到最小二乘估计，以统计判决角度理论的角度，就是在二次损失函数下从线性估计类中选择使风险达到最小的估计，从而得到各类可容许估计。但是，我们在对回归系数进行估计时，既要考虑拟合优度，还要考虑估计的精度。 为此，Zellner在比较总结了两种方法的优劣后，将两种方法进行综合，得出了一种新的称为平衡损失函数的标准

''()()(1)()()wYXgYXgwgSg (1.6)

上式中01w，S是已知正定矩阵，g是的估计。损失函数(1.6)同时考虑了模型拟合优度以及估计的精度，比二次损失以及残差平方和更加全面也更加合理。学术领域中，平衡损失函数参数估计，估计比较和未来观察值预测等方面得到了广泛应用。例如Wan[8]研究了不等式约束下参数的最小二乘法估计及其他相关风险比较，Giles[9]等共同研究了Stein估计及某些回归系数的先验估计的风险。Bansal[10]等人在平衡损失函数条件下对有限总体回归系数的Bayes预测做出了适当的讨论。

1.5全文安排 本文第一章主要介绍了线性回归模型，最小二乘估计和几种著名的有偏估计，探讨了最小二乘估计不再优良的原因，并简单介绍了平衡损失函数的研究成果。 第二章给出了Stein估计的定义以及基本性质，并分别介绍了三种影响力较大的Stein估计，它们是Farebrother估计，J-S估计以及重K类估计。 第三章是本文的主要内容，在本章中我们证明了在一定条件内在平衡损失函数下Stein估计相对于最小二乘估计的优越性，并给出了Stein估计优于最小二乘估计的充要条件，在证明之前给出了基本理论用以铺垫。 第四章也是本文的主要内容之一，本章着重研究了在平衡损失函数意义下Stein估计的压缩系数的选取方法。 第五章对本文所探讨的内容进行了简单的总结，并提出了目前尚待解决的问题和一些解决思路。