下载文档原格式
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
第二章 平稳时序模型本章主要内容1．平稳序列的概念；2．线性记忆系统和ARMA 模型的记忆特征 3．基本分析工具4．平稳ARMA 模型的自相关函数； 5．平稳ARMA 模型的偏自相关函数； 6．平稳ARMA 模型的优选方法。
第一节 ARMA 模型的定义定义2.1 满足如下条件的序列称为严平稳序列 有，正整数，正整数τ∀∈∀∀T t t t m m ,,,,21L ： ),,,(),,,(21,21,2121m t t t m t t t x x x F x x x Fm mL L L L τττ+++=定义2.2 满足如下条件的序列称为宽平稳序列 Tt s k k s t t s k k s t Tt EX Tt EX t t∈−+∀−+=∈∀=∈∀∞<且，为常数，,,),(),()3,)2,)12γγμμ 定义2.3 满足如下条件的序列称为平稳高斯序列： 1）是正态分布；t Z 2）对任意的，概率密度函数m t t t k ,,,,21L ),,,(21m t t t z z z L ρ和),,,(21k t k t k t m z z z +++L ρ是相同的。
严平稳与宽平稳的关系 一般关系\ 严平稳条件比宽平稳条件苛刻，通常情况下，严平稳（低阶矩存在）能推出宽平稳成立，而宽平稳序列不能反推严平稳成立特例\ 不存在低阶矩的严平稳序列不满足宽平稳条件，例如服从柯西分布的严平稳序列就不是宽平稳序列\ 当序列服从多元正态分布时，宽平稳可以推出严平稳平稳时间序列的统计性质正确理解这个定义的确切含义和性质，从定义可知：密度函数不依赖于时间的起点，所有的都有相同的均值和相同的方差，如果的二阶矩存在，则的协方差只与时间间隔有关。
t Z }{t Z }{t Z第二节 ARMA 模型的记忆特性2.1 线性记忆系统；例1：假设某人犯有高血压，且正在服用一种特殊的药来控制血压水平，记{是指标序列，即}t x⎩⎨⎧=其他时服药如果在,0,1t x t 我们能认为是系统得激励或输入，记{}t x {}t y 是系统的响应或输出变量，假设在时刻时服用了药，可能有如下几种不同的响应。
二项式分布十大模型二项式分布是数学中常用的离散概率分布模型之一。
它描述了在进行一系列独立的二项试验时，成功事件发生的次数的概率分布。
本文将介绍二项式分布的十大模型。
1. 单次二项试验：当只进行一次独立的二项试验时，二项式分布模型简化为伯努利分布。
它描述了一个试验只有两个可能结果的概率分布。
2. 无偏估计：通过进行多次独立的二项试验，可以利用二项式分布模型来估计成功事件发生的概率。
无偏估计是指在多次试验中，估计值的期望等于真实值。
3. 区间估计：通过计算置信区间，可以利用二项式分布模型来估计成功事件发生的概率的范围。
置信区间是对参数的估计提供了一个可信的范围。
4. 假设检验：通过比较观察到的样本数据与基于二项式分布模型的假设，可以进行假设检验来判断某一假设是否成立。
5. 多次试验：当进行多次独立的二项试验时，可以利用二项式分布模型来描述成功事件发生的总次数的概率分布。
6. 成功次数分布：通过对成功事件发生的次数进行统计，可以得到成功次数的分布。
二项式分布模型描述了成功次数的概率分布。
7. 大数定律：根据大数定律，当进行大量的独立二项试验时，成功事件发生的频率会趋向于其概率。
8. 二项分布的期望和方差：二项式分布的期望数值表示每次二项试验中成功事件发生的平均次数。
方差表示每次试验的成功次数与期望数值之间的偏离程度。
9. 二项式系数：二项式系数是二项式分布模型中计算特定成功次数的概率的常数。
10. 二项分布的应用：二项式分布模型在概率统计、实验设计、风险评估等领域有广泛的应用。
它可以帮助分析和解决与二项试验相关的问题。
以上是二项式分布的十大模型，每个模型都有其特定的应用和用途。
了解这些模型可以帮助我们更好地理解和应用二项式分布在实际问题中。
第二章 平稳时间序列模型本章将介绍Box-Jenkins 方法，主要包括一元平稳时间序列的识别、估计、诊断和预测方法。
2．1 平稳性时间序列t y 的均值和协方差 ()t t E y μ=,cov(,)[()()]t s t t s s t s y y E y y μμγ=--=一个随机过程的线性性质可由均值和协方差来描述。
如果这个过程是正态过程， ,,t t s μγ可以完全刻画这个随机过程的分布性质。
如果没有正态性质，但生成过程是线性的，则在它的均值和方差中可获得关于这个过程的更多的重要特征。
下面的问题是如何来估计t μ，对于一些过程我们可以得到大量的实现（反复做观测）,1,2,,.1,2,,.jt y t n j k ==那么，t μ的估计是11ˆkt jt j y k μ==∑但对大多数过程来说，得不到更多的实现。
如，不可能把经济停下来，然后重新开始观测。
对一个实现，不可能估计出t μ。
为了克服这个困难，时间序列分析要做如下的假设：均值和方差不随时间而改变。
如果对任何t, t-s, 都有μ==-)()(s t t y E y E222)()(y s t t y E y E σμμ=-=--s s j t j t s t t y y y y γ==----),cov(),cov(这里 2,y μσ都是常量，与时间无关，s γ是依赖于s 的常量。
这样的随机过程称为协方差平稳。
可以简单地说，如果一个时间序列的均值和协方差不受时间变化影响，则称这个时间序列是协方差平稳。
在一些文献中，协方差平稳的过程也称为弱平稳，二阶矩平稳或宽平稳过程。
（注意一个强平稳过程不一定有有限的均值和方差）。
一个更进一步的假设是遍历性（ergodic ）。
这是一个较难理解的一个概念。
遍历性是指，按时间平均11nn t t y y n ==∑是总体均值μ的无偏、一致估计。
即(),()0,()n n E y Var y n μ=↓→∞。
第⼆章平稳时间序列模型——ACF和PACF和样本ACFPACF⾃相关函数/⾃相关曲线ACFAR(1)模型的ACF：模型为：当其满⾜平稳的必要条件|a1|<1时（所以说，⾃相关系数是在平稳条件下求得的）：y(t)和y(t-s)的⽅差是有限常数，y(t)和y(t-s)的协⽅差伽马s除以伽马0，可求得ACF如下：由于{rhoi}其在平稳条件|a1|<1下求得，所以平稳0<a1<1则⾃相关系数是直接收敛到0-1<a1<0则⾃相关系数是震荡收敛到0对于AR(2)模型的ACF：（略去截距项）两边同时乘以y(t)，y(t-1)，y(t-2)......得到yule-Walker⽅程，然后结合平稳序列的⼀些性质（yule-Walker⽅程法确确实实⽤了协⽅差只与时间间隔有关的性质），得到⾃相关系数如下：rho0恒为1（⼆阶差分⽅程）令⼈惊喜的是，这个⼆阶差分⽅程的特征⽅程和AR(2)模型的是⼀致的。
所以，我们的rho本就是在序列平稳的条件下求得，所以{rhoi}序列也平稳。
当然，其收敛形式取决于a1和a2MA(1)模型的ACF:模型为：由于y(t)的表达式是由⽩噪声序列中的项组成，所以不需要什么平稳条件，就可以求得rho的形式如下：对于MA(p)模型，rho(p+1)开始，之后都为0.所以说，到了p阶之后突然阶段，变为0了。
ARMA(1,1)模型的ACF：模型为：还是使⽤yule-Walker⽅程法（⽤到了序列平稳则协⽅差只与时间间隔有关的性质）得到：所以有：ARMA(p,q)模型的ACF：ARMA(p,q)的⾃相关系数满⾜：（式1）前p个rho值（rho1，rho2...rhop）可以看做yule-Walker⽅程的初始条件，其他滞后值取决于特征⽅程。
（其实是这样的，rho1，rho2...rhop实际上能写出⼀个表达式，⽽rho(p+1)开始，就满⾜⼀个差分⽅程，⽽这个⽅程对应的特征根（即式1）⽅程和AR(p)对应的⼀模⼀样），所以，他会从之后q期开始衰减。
平稳时间序列模型概述平稳时间序列模型是一种常见的时间序列分析方法，用于对事物在一定时间范围内的变化进行建模和预测。
平稳时间序列模型假设时间序列的均值和方差在任意时刻都保持不变，即不受时间的影响。
平稳时间序列模型有许多不同的形式，其中最常见的是自回归移动平均模型（ARMA）和季节性自回归移动平均模型（SARMA）。
ARMA模型由自回归（AR）部分和移动平均（MA）部分组成，描述了时间序列的自相关和滞后误差，可以用来预测未来的观测值。
SARMA模型在ARMA模型的基础上加入了季节性因素，适用于存在明显季节性变化的时间序列。
ARMA模型的一般形式为：\[ X_t = c + \phi_1X_{t-1} + \dots + \phi_pX_{t-p} + \epsilon_t -\theta_1\epsilon_{t-1} - \dots - \theta_q\epsilon_{t-q} \]其中，\( X_t \)是时间序列在时刻\( t \)的观测值，\( c \)是常数，\( \phi_1, \dots, \phi_p \)是自回归系数，\( X_{t-1}, \dots, X_{t-p} \)是过去的观测值，\( \epsilon_t \)是误差项，\( \theta_1, \dots,\theta_q \)是移动平均系数，\( \epsilon_{t-1}, \dots, \epsilon_{t-q} \)是过去的误差项。
SARMA模型的一般形式为：\[ X_t = c + \phi_1X_{t-1} + \dots + \phi_pX_{t-p} -\theta_1\epsilon_{t-1} - \dots - \theta_q\epsilon_{t-q} + \gammaX_{t-m} + \phi_1\gamma X_{t-m-1} + \dots + \phi_p\gammaX_{t-m-p} + \epsilon_t \]其中，\( X_t \)是时间序列在时刻\( t \)的观测值，\( c \)是常数，\( \phi_1, \dots, \phi_p \)是自回归系数，\( X_{t-1}, \dots, X_{t-p} \)是过去的观测值，\( \epsilon_t \)是误差项，\( \theta_1, \dots,\theta_q \)是移动平均系数，\( \epsilon_{t-1}, \dots, \epsilon_{t-q} \)是过去的误差项，\( \gamma \)是季节性系数，\( X_{t-m},\dots, X_{t-m-p} \)是过去的季节性观测值。
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。
它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。
UMVUE的判断需要满足以下几个要素。
首先，一个无偏估计是指估计量的期望值与真实参数值相等。
也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。
无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。
一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。
其次，UMVUE还要求具有最小的方差。
方差是对估计量精确性的度量，方差越小，估计结果越准确。
UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。
通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。
UMVUE的判断还需要满足一致性的要求。
一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。
UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。
这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。
判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。
然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。
一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。
UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。
它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。
在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。
它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。
总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。
误差方差的无偏估计-回复什么是误差方差？误差方差是统计学中的一个重要概念，用来衡量模型的拟合能力和预测能力。
在机器学习中，误差方差是指模型预测的结果与实际结果之间的差异，它可以通过计算预测值与实际值的平方差来衡量。
误差方差越小，表示模型的拟合能力越好，预测结果的稳定性越高。
为什么需要对误差方差进行估计？在机器学习和统计建模中，我们通常会选择一个模型来拟合已有的数据，并用它来进行预测。
然而，我们很难直接观测到模型的误差方差，因为我们无法获得所有可能的数据样本。
因此，我们需要对误差方差进行估计，以评估模型的拟合能力和预测能力。
如何进行误差方差的无偏估计？误差方差的无偏估计通常可以通过交叉验证来实现。
交叉验证是一种将已有数据集划分为训练集和测试集的方法，它可以评估模型在未见过数据上的性能。
一种常用的交叉验证方法是K折交叉验证，其中K是一个正整数，表示将数据集划分为K个子集。
下面我们将逐步介绍如何通过K折交叉验证来对误差方差进行无偏估计。
1. 数据集划分：首先，将已有的数据集划分为K个相等大小的子集，其中K-1个子集用于训练模型，剩下的1个子集用于测试模型。
这一步骤旨在模拟模型在未见过数据上的性能。
2. 模型训练：接下来，使用K-1个子集来训练模型。
这可以使用任何标准的模型训练算法，如线性回归、决策树等。
3. 模型测试：将剩下的1个子集用于测试已经训练好的模型，计算模型在测试集上的误差。
常用的误差度量包括均方误差和平均绝对误差。
4. 重复步骤2和步骤3：重复进行K次模型训练和测试，每次都选择不同的训练集和测试集。
这样可以得到K个模型和对应的误差。
5. 误差方差估计：将K个模型在测试集上的误差计算平均值，得到误差的均值。
然后计算每个模型的误差与误差均值之间的差平方，并计算这些差的平均值。
最后得到的结果就是误差方差的无偏估计。
通过上述步骤，我们可以通过交叉验证来对模型的误差方差进行无偏估计。
这种方法能够更客观地评估模型的性能，并在模型选择和优化过程中提供重要的指导。
面板数据分析方法步骤全解面板数据的分析方法或许我们已经了解许多了，但是到底有没有一个基本的步骤呢？那些步骤是必须的？这些都是我们在研究的过程中需要考虑的，而且又是很实在的问题。
面板单位根检验如何进行？协整检验呢？什么情况下要进行模型的修正？面板模型回归形式的选择？如何更有效的进行回归？诸如此类的问题我们应该如何去分析并一一解决？以下是我近期对面板数据研究后做出的一个简要总结，和大家分享一下，也希望大家都进来讨论讨论。
步骤一：分析数据的平稳性（单位根检验）按照正规程序，面板数据模型在回归前需检验数据的平稳性。
李子奈曾指出，一些非平稳的经济时间序列往往表现出共同的变化趋势，而这些序列间本身不一定有直接的关联，此时，对这些数据进行回归，尽管有较高的R平方，但其结果是没有任何实际意义的。
这种情况称为称为虚假回归或伪回归（spurious regression）。
他认为平稳的真正含义是：一个时间序列剔除了不变的均值（可视为截距）和时间趋势以后，剩余的序列为零均值，同方差，即白噪声。
因此单位根检验时有三种检验模式：既有趋势又有截距、只有截距、以上都无。
因此为了避免伪回归，确保估计结果的有效性，我们必须对各面板序列的平稳性进行检验。
而检验数据平稳性最常用的办法就是单位根检验。
首先，我们可以先对面板序列绘制时序图，以粗略观测时序图中由各个观测值描出代表变量的折线是否含有趋势项和（或）截距项，从而为进一步的单位根检验的检验模式做准备。
单位根检验方法的文献综述：在非平稳的面板数据渐进过程中,Levin andLin(1993) 很早就发现这些估计量的极限分布是高斯分布,这些结果也被应用在有异方差的面板数据中,并建立了对面板单位根进行检验的早期版本。
后来经过Levin et al. (2002)的改进,提出了检验面板单位根的LLC 法。
Levin et al. (2002) 指出,该方法允许不同截距和时间趋势,异方差和高阶序列相关,适合于中等维度(时间序列介于25～250 之间,截面数介于10～250 之间) 的面板单位根检验。
计量经济学高斯马尔科夫定理
高斯-马尔可夫定理是计量经济学中非常重要的定理，它是指当一些预测模型满足特定的条件时，最小二乘估计结果是无偏且有效的。
在该定理中，误差项应满足的条件是：误差项必须是独立同分布、方差不随解释变量而改变、且误差项具有零均值。
在许多回归分析中，高斯-马尔可夫定理变得尤为重要，因为它确保了OLS估计器具有以下性质：
1. 无偏性：OLS估计是一个无偏的估计值，即估计的值偏差为零。
2. 最小化误差平方和：OLS估计值是最小化残差平方和的估计值，即估计出的值具有最小的平均平方偏差，这是预测准确性的一种量度。
3. 依靠的标准错误：OLS估计器是一个依靠标准误差的估计值，即用于测量OLS估计缺乏准确性的度量。
需要注意的是，高斯-马尔可夫定理的条件并不一定在实际数据中都得到满足。
在实际应用中，可能存在忽略了一些重要的解释变量，削弱误差项的同方差性、出现序列相关等问题。
这些问题可能会导致OLS估计器的偏倚性和不一致性。
此外，它也不能处理内生性、选择性偏误等复杂模型中的问题。
总之，高斯-马尔可夫定理是计量经济学中的一个基本原理，它可以帮助经济学家确定最佳的数据生成过程和解释变量，从而得出无偏且高效的OLS估计值。
