参数的最大似然估计量

2
其中 Λ 是X X 的特征值构成的对角矩阵。 从而 VarB
XX VΛ
V- 1
XX1 2VV1
, k 0,1, , K
2 2 2 v v v k0 k1 kK Varbk 2 1 K 0
17
（五）岭回归方法
设一个多元线性回归模型为 Y Xβ ε 普通最小二乘估计的公式为 B XX1 XY XX 矩阵 当解释变量间存在严重的多重共线性时， 接近于奇异。 用 XX λD 代替 XX 代入最小二乘估计的公式，得 ˆ XX D1 XY 到： β 其中 称为“岭回归参数”，一般 0 1 ，D 2 2 2 k 1,2,, K d X k ki X X 是用 矩阵对角线上元素d0 n 和 i 构成的对角线矩阵 。
多元回归工具变量法估计 引进、选择多个关键变量。 向量、矩阵表示。

工具变量的选择问题： 与替代解释变量相关性强 与误差相相关性小 避免引起共线性问题
27
四、参数估计量分布问题和统计推断
问题：分布未知 两变量线性回归模型参数估计量
b1
X
i i
i
X Yi Y
i
X
以 X 为条件的 b1 的条件方差 Varb X X X Varb E Varb X 也是 是最小方差，从而 b1 的方差 最小方差。
1 2 i i
2
1
X
1
23
如果 X 是随机变量，与误差项小样本不独立， 但大样本渐进不相关，即 X X
前一个模型变为 logQ 0 b1 logY 2 log P 整理这个模型可以得到

ˆ1(x1, x2 ,, xn ) ˆ2 (x1, x2 ,, xn )

ˆk (x1, x2 ,, xn )
数值
称数 ˆ1,ˆ2 ,,ˆk 为未知参数 1,2,,k 的估计值，
对应的统计量为未知参数 1,2,,k 的估计量．
问题 如何构造统计量？
如何评价估计量的好坏？
n
n
dlnL
dp

xi
i1
p

n xi
i1
1 p
令
0
pˆ

1 n
n i1
xi

x


d2lnL dp2


n
xi
i1
p2

n
n xi
i1
(1 p)2

0



所以 pˆ x 为所求 p 的估计值．
称L( )为样本的似然函数．
当给定一组样本值时，L( )就是参数 的函数，
两种常用的点估计方法
矩法 用样本的 k 阶矩待 估计参数．
一般地，不论总体服从什么分布，总体期望 与方差 2存在，则它们的矩估计量分别为：
ˆ

1 n
n i1
Xi

X
ˆ 2

1 n
n i 1
(Xi

X )2

Sn2
称统计量 g( X1, X 2,, X n )
为参数 的极大似然估计量，简记 ˆ似然．
注1 若随机变量X 连续，取 f (xi， )为Xi 的密
度函数似然函数为
n
L( ) f (xi , ) i 1
注2 未知参数个数可以不止一个，如1， 2，…，k设X 的密度函数(或概率分布)为

将其取对数,然后对 1 , 2 ,, 2 , , k ) 0 1 ln L( 1 , 2 , , k ) 0 k
该方程组的解 ˆi ˆi (x1, x2 ,, xn ),i 1,2,, k , 即为 i 的极 大似然估计值.
求极大似然估计的一般步骤归纳如下：
（1）求似然函数 L( ) ；
（2）求出 ln L( ) 及方程
d ln L( ) 0 d
；
（3）解上述方程得到极大似然估计值
ˆ ˆ( x , x ,, x ) 1 2 n .
（4）解上述方程得到极大似然估计量
ˆ ˆ( X , X ,, X ) 1 2 n .
令
ˆ( x , x ,, x ) 解此方程得θ的极大似然估计值 1 2 n ,
从而得到θ的极大似然估计量ˆ( X1, X 2 ,, X n ) .
因为 解方程
L( )
与
ln L( )
具有相同的最大值点
d ln L( ) 0 d
也可得θ的极大似然估计值
ˆ( x , x ,, x ) 和θ的极大似然估计量 ˆ( X , X ,, X ) . 1 2 n 1 2 n
~ x d 2 ln L() 且 0 2 d ~ x
~ 从而得出λ的极大似然估计量为 X
例：设总体 X 服从参数为λ 的指数分布，其中λ 未
( x1 , x2 ,, xn ) ( X 1 , X 2 ,, X n ) 为从总体抽取一个样本， 知，
为其样本观测值， 试求参数λ 的极大似然估计值和 估计量.
例:设随机变量X服从泊松分布:
P{ X k}
k e
k!
,

使用最大似然估计不变原理的条件在统计学中，最大似然估计是一种常用的参数估计方法，它通过寻找使得给定样本的条件下，观测到的数据出现的概率最大的参数值来对参数进行估计。

而不变原理则是指在不同的参数估计方法中，使用同样的抽样分布，能够得到相同的结果。

那么在使用最大似然估计时，有哪些条件是必须满足的呢？1. 参数的假设是正确的：在使用最大似然估计时，必须首先确定参数的假设是正确的。

也就是说，我们要确信所使用的概率模型是适合于描述数据的，这样才能保证最大似然估计得到的结果是可靠的。

2. 独立同分布：在进行最大似然估计时，通常假设样本是独立同分布的。

这就意味着每个样本点之间是相互独立的，并且它们都服从同样的概率分布。

如果数据不满足独立同分布的条件，那么最大似然估计就会失去准确性。

3. 收敛性：最大似然估计的参数估计量需要满足收敛性，即当样本量趋于无穷时，参数估计值收敛于真实参数的值。

如果参数估计量不具有一致性，那么最大似然估计得到的结果也就失去了可靠性。

4. 参数空间的内部：最大似然估计方法要求参数空间的内部包含真实参数的真实值。

这个条件确保了最大似然估计会收敛到真实参数的值，并且不会出现参数估计值在参数空间边界取得最大值的问题。

5. 正则条件：在一些特定的情况下，最大似然估计可能会出现过拟合的情况，为了避免这种情况的发生，我们可以使用正则条件来对参数进行约束，以获得更加稳定和准确的参数估计。

通过满足以上条件，我们可以确保在使用最大似然估计时获得可靠的参数估计结果。

然而，最大似然估计也并非完美，它在样本量较小时往往会出现估计偏差较大的问题。

在实际应用中，我们需要结合具体问题和数据特点来选择合适的参数估计方法，以获得更加准确和可靠的结果。

个人观点：最大似然估计是一种非常常用和有效的参数估计方法，它能够充分利用观测样本数据的信息来对参数进行估计。

但在使用最大似然估计时，我们也需要注意数据的特点和模型的假设条件，以确保最大似然估计的可靠性和准确性。