下载文档原格式
超定方程组，又称为过定方程组，是线性代数中的一个概念。
当方程组的未知数数量少于方程数量时，该方程组就被称为超定方程组。
由于超定方程组通常没有精确解，我们常常会寻求一个近似解，使得所有方程的残差平方和最小。
这就是最小二乘解的原理。
一、最小二乘解的基本概念最小二乘法是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。
利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和最小。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
二、超定方程组的性质对于超定方程组，由于方程数量多于未知数数量，因此通常不存在一个解能够使得所有方程同时成立。
这种情况下，我们需要寻找一个近似解，即一个解，使得所有方程的残差（即方程的实际值与解代入方程后得到的计算值之间的差）的平方和最小。
三、最小二乘解的原理最小二乘解的原理就是基于上述思想，通过最小化残差平方和来寻找超定方程组的近似解。
具体步骤如下：构建残差平方和函数：首先，我们需要构建一个表示残差平方和的函数。
假设超定方程组有(m) 个方程，(n) 个未知数（(m > n)），未知数的向量记作(\mathbf{x} = (x_1, x_2, \ldots, x_n)^T)，方程组的系数矩阵记作(\mathbf{A} = (a_{ij})_{m \times n})，常数项向量记作(\mathbf{b} = (b_1, b_2, \ldots, b_m)^T)。
那么，残差向量可以表示为(\mathbf{r} = \mathbf{A}\mathbf{x} - \mathbf{b})，残差平方和函数可以写为(S(\mathbf{x}) = \mathbf{r}^T\mathbf{r} = (\mathbf{A}\mathbf{x} - \mathbf{b})^T(\mathbf{A}\mathbf{x} - \mathbf{b}))。
计量经济学 第一部分：名词解释第一章1、模型：对现实的描述和模拟。
2、广义计量经济学：利用经济理论、统计学和数学定量研究经济现象的经济计量方法的统称，包括回归分析方法、投入产出分析方法、时间序列分析方法等。
3、狭义计量经济学：以揭示经济现象中的因果关系为目的，在数学上主要应用回归分析方法。
第二章1、总体回归函数：指在给定Xi 下Y 分布的总体均值与Xi 所形成的函数关系（或者说总体被解释变量的条件期望表示为解释变量的某种函数）。
2、样本回归函数：指从总体中抽出的关于Y ，X 的若干组值形成的样本所建立的回归函数。
3、随机的总体回归函数：含有随机干扰项的总体回归函数（是相对于条件期望形式而言的）。
4、线性回归模型：既指对变量是线性的，也指对参数β为线性的，即解释变量与参数β只以他们的1次方出现。
5、随机干扰项：即随机误差项，是一个随机变量，是针对总体回归函数而言的。
6、残差项：是一随机变量，是针对样本回归函数而言的。
7、条件期望：即条件均值，指X 取特定值Xi 时Y 的期望值。
8、回归系数：回归模型中βo ，β1等未知但却是固定的参数。
9、回归系数的估计量：指用01,ββ等表示的用已知样本提供的信息所估计出来总体未知参数的结果。
10、最小二乘法：又称最小平方法，指根据使估计的剩余平方和最小的原则确定样本回归函数的方法。
11、最大似然法：又称最大或然法，指用生产该样本概率最大的原则去确定样本回归函数的方法。
12、估计量的标准差：度量一个变量变化大小的测量值。
13、总离差平方和：用TSS 表示，用以度量被解释变量的总变动。
14、回归平方和：用ESS 表示：度量由解释变量变化引起的被解释变量的变化部分。
15、残差平方和：用RSS 表示：度量实际值与拟合值之间的差异，是由除解释变量以外的其他因素引起的被解释变量变化的部分。
16、协方差：用Cov （X ，Y ）表示，度量X,Y 两个变量关联程度的统计量。
17、拟合优度检验：检验模型对样本观测值的拟合程度，用2R 表示，该值越接近1，模型对样本观测值拟合得越好。
高斯—马尔可夫定理:若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。
（BLUE )最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明）1．线性性：0ˆβ和1ˆβ都是i y 的线性函数证明：ini nj j i n j jni iiy x x x x x x y x x∑∑∑∑====--=--=1121211)()()()(ˆβΘ ；令∑=--=nj ji i x xx x k 12)()(则有i ni i y k ∑==11ˆβ ，且有=∑ik，1=∑ii xk ，∑∑=-=ni ii x xk 122)(1从而1ˆβ是i y 的线性函数；同理，0ˆβ＝=-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭⎫⎝⎛-=-=111令i i k x nw ⋅-=1，则有：i i y w ∑=0ˆβ，即0ˆβ也是iy 的线性函数。
另有：1=∑iw ，0=∑ii xw2. 无偏性：0ˆβ和1ˆβ都是0β、1β的无偏估计量； 即有：(),ˆ0ββ=E ()11ˆββ=E证明：先证()11ˆββ=EΘ ()i i i i n i i u x k y k ++==∑∑=1011ˆβββ， 又Θ0=∑ik，1=∑i i x k()∑∑∑=++===i i i i i ni i k u x k y k 01011ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E(因为:0=∑ik，1=∑i i x k )同理，利用1=∑i w 和0=∑i i x w 可证得(),ˆ00ββ=E3. 最优性或最小方差性：在所有的线性无偏估计中，0ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量 证明：若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵线性估计），再根据无偏估计的特性，有：∑∑==1,0i i ix c c。
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
真题考试：2021 计量经济学真题及答案(2)共97道题1、若计算的DW统计量小于，则表明该模型()（单选题）A. 不存在一阶序列相关B. 存在一阶正序列相关C. 存在一阶负序列相关D. 存在高阶序列相关试题答案：B2、对经济计量模型进行检验的计量准则主要有（）（多选题）A. WHITE(怀特)检验B. F检验C. DW检验D. t检验E. VIF(方差膨胀因子)检验试题答案：A,C,E3、题目（单选题）A.B.C.D.试题答案：D4、真实的回归模型为，但是在回归分析时使用的模型为，漏掉了重要解释变量X3，则会使的最小二乘估计（单选题）A. X3与X2相关时有偏B. X3与X2相关时无偏C. 无偏D. 有偏试题答案：A5、在对数线性模型度量了（单选题）A. X踱动1％时，Y变动的百分比B. Y动1％时，X动的百分比C. X变动一个单位时，Y动的数量D. Y动一个单位时，X变动的数量试题答案：A6、以下关于DW检验的说法，不正确的有（多选题）A. 要求样本容量较大B. 一1≤DW≤1C. 可用于检验高阶序列相关D. 能够判定所有情况E. 只适合一阶线性序列相关试题答案：B,C,D7、多元回归模型中F检验的原假设为（）（单选题）A. 偏回归系数全为0B. 所有回归系数为0C. 常数项为0D. 偏回归系数都不为0试题答案：A8、判定系数R2是表示（）（单选题）A. 模型对总体回归线的拟合程度B. 模型对样本观测值的拟合程度C. 模型对回归参数的拟合程度D. 模型对被解释变量的观测值的拟合程度试题答案：B9、相关系数r的取值范围为（）（单选题）A. -2≤r≤2B. -l≤r≤1C. O≤r≤lD. 0≤r≤4试题答案：B10、工具变量法只适用于下列哪种结构方程的参数估计?() （单选题）A. 恰好识别的结构方程B. 过度识别的结构方程C. 不可识别的结构方程D. 充分识别的结构方程试题答案：A11、对于满足经典假定的部分调整模型，最小二乘法估计量的特征为（）（多选题）A. 有偏B. 无偏C. 非一致D. 一致E. 方差最小试题答案：A,D,E12、以下关于DW检验的说法，正确的有()（多选题）A. DW=0表示完全一阶正自相关B. DW=2表示无自相关C. DW=4表示完全一阶负自相关D. DW=1表示完全正自相关E. DW=-1表示完全负自相关试题答案：A,B,C13、若计算的DW统计量小于，则表明该模型()（单选题）A. 不存在一阶序列相关B. 存在一阶正序列相关C. 存在一阶负序列相关D. 存在高阶序列相关试题答案：B14、下列哪种情况说明存在异方差（单选题）A.B.C.D.试题答案：D15、当研究者将消费模型设定为则他所依据的经济学理论假设为（）（单选题）A. 绝对收入假设B. 生命周期假设C. 持久收入假设D. 相对收入假设试题答案：A16、方差膨胀因子法适用于检验（）（单选题）A. 序列相关B. 异方差C. 多重共线性D. 设定误差试题答案：C17、多元回归模型未通过整体显著性F检验，则可能的原因为（）（多选题）A. 模型有异方差B. 解释变量间有严重的共线性C. 解释变量对被解释变量都没有影响D. 模型有自相关E. 因差分等原因使得解释变量的变异太小试题答案：C,E18、根据判定系数R2与F统计量的关系可知，当R2=1时，有（单选题）A. F=1B. F=-1C. F=0D. F=∞试题答案：D19、在线性回归模型中，若解释变量X和误差项U相关，则表明模型中存在() （单选题）A. 异方差B. 随机解释变量C. 序列相关D. 设定误差试题答案：B20、对回归模型进行显著性检验时所用的F统计量可表示为（多选题）A.B.C.D.E.试题答案：B,C21、多元回归模型未通过整体显著性F检验，则可能的原因为（）（多选题）A. 模型有异方差B. 解释变量间有严重的共线性C. 解释变量对被解释变量都没有影响D. 模型有自相关E. 因差分等原因使得解释变量的变异太小试题答案：C,E22、设，D=1代表城镇居民，D=0代表农村居民，则屏的含义为() （单选题）A. 城镇居民与农村居民的平均收入差距B. 城镇居民之间的平均收入差距C. 城镇居民的平均收入D. 农村居民之间的平均收入差距试题答案：A23、工具变量法可以解决的问题是() （单选题）A. 异方差问题B. 序列相关问题C. 多重共线性问题D. 内生解释变量问题试题答案：D24、一元回归模型回归系数未通过t检验，表示()（单选题）A.B.C.D.试题答案：A25、最可能出现异方差的样本数据类型是（）（单选题）A. 时间序列数据B. 虚拟变量数据C. 截面数据D. 混合数据试题答案：C26、设啤酒消费支出，Xi=居民收入，D=1代表城镇居民，D=0代表农村居民，要研究居住地对啤酒消费的影响，应选用的模型为（）（单选题）A.B.C.D.试题答案：D27、在线性回归模型中，无完全共线性表示()（单选题）A.,u无线性关系B.与u无线性关系C.无线性关系D.,u无线性关系28、DW检验适用于检验（）（单选题）A. 异方差B. 序列相关C. 多重共线性D. 设定误差试题答案：B29、如果一个回归模型包含截距项，对一个具有4个特征的质的因素需要引入的虚拟变量个数为（单选题）A. 4B. 3C. 2D. 1试题答案：B30、最小二乘准则是指（单选题）A.随机误差项的平方和最小B.与它的期望值的离差平方和最小C.与它的均值的离差平方和最小D.残差的平方和最小31、以下关于DW检验的说法，不正确的有（多选题）A. 要求样本容量较大B. 一1≤DW≤1C. 可用于检验高阶序列相关D. 能够判定所有情况E. 只适合一阶线性序列相关试题答案：B,C,D32、设0LS法得到的样本回归直线为，最小二乘估计量方差最小是()（单选题）A. Y的方差最小B. X的方差最小C. 残差的方差最小D. 回归系数估计量的方差最小试题答案：D33、如果回归模型中解释变量之间存在严重的多重共线性，则方差膨胀因子为() （单选题）A. 小于5B. 大于5C. 小于0D. 在0，1之间试题答案：B34、进行怀特异方差检验时拒绝原假设，则表明() （单选题）A. 解释变量X存在异方差B. 解释变量X不存在异方差C. 随机误差项u不存在异方差D. 随机误差项u存在异方差试题答案：D35、对回归模型进行显著性F检验，备择假设为和不同时为0。
计量经济学简答题及答案-CAL-FENGHAI.-(YICAI)-Company One1计量经济学简答题及答案1、比较普通最小二乘法、加权最小二乘法和广义最小二乘法的异同。
答：普通最小二乘法的思想是使样本回归函数尽可能好的拟合样本数据，反映在图上就是是样本点偏离样本回归线的距离总体上最小，即残差平方和最小∑=n i i e12min 。
只有在满足了线性回归模型的古典假设时候，采用OLS 才能保证参数估计结果的可靠性。
在不满足基本假设时，如出现异方差，就不能采用OLS 。
加权最小二乘法是对原模型加权，对较小残差平方和2i e 赋予较大的权重，对较大2i e 赋予较小的权重，消除异方差，然后在采用OLS 估计其参数。
在出现序列相关时，可以采用广义最小二乘法，这是最具有普遍意义的最小二乘法。
最小二乘法是加权最小二乘法的特例，普通最小二乘法和加权最小二乘法是广义最小二乘法的特列。
6、虚拟变量有哪几种基本的引入方式 它们各适用于什么情况答: 在模型中引入虚拟变量的主要方式有加法方式与乘法方式，前者主要适用于定性因素对截距项产生影响的情况，后者主要适用于定性因素对斜率项产生影响的情况。
除此外，还可以加法与乘法组合的方式引入虚拟变量，这时可测度定性因素对截距项与斜率项同时产生影响的情况。
7、联立方程计量经济学模型中结构式方程的结构参数为什么不能直接应用OLS估计答：主要的原因有三：第一，结构方程解释变量中的内生解释变量是随机解释变量,不能直接用OLS 来估计；第二，在估计联立方程系统中某一个随机方程参数时，需要考虑没有包含在该方程中的变量的数据信息，而单方程的OLS 估计做不到这一点；第三，联立方程计量经济学模型系统中每个随机方程之间往往存在某种相关性，表现于不同方程随机干扰项之间，如果采用单方程方法估计某一个方程，是不可能考虑这种相关性的，造成信息的损失。
2、计量经济模型有哪些应用。
答：①结构分析，即是利用模型对经济变量之间的相互关系做出研究，分析当其他条件不变时，模型中的解释变量发生一定的变动对被解释变量的影响程度。
最小二乘估计的特点
1.理论上可行：最小二乘估计是一种基于数学原理的估计方法，其在理论上是可行的。
通过求解模型中的估计参数，可以得到最小化残差平方和的最优解。
2. 适用性广泛：最小二乘估计可以应用于各种类型的模型，包
括线性模型、非线性模型、多元模型等。
此外，该方法还可以用于处理有误差的测量数据，例如测量误差、观测误差等。
3. 稳健性强：最小二乘估计对于数据的异常值比较敏感，但是
可以通过使用一些统计方法来提高其稳健性，例如加权最小二乘估计、岭回归、lasso回归等。
4. 计算简单：最小二乘估计的计算比较简单，可以通过求解线
性方程组来得到估计参数的解。
此外，在计算过程中还可以使用矩阵运算来加速计算速度。
5. 非唯一性：最小二乘估计中，存在多组参数估计值可以使残
差平方和最小化。
此时需要根据实际情况来选择最合适的估计结果。
总之，最小二乘估计是一种非常重要的估计方法，在各种领域都有着广泛的应用。
它的特点包括理论可行、适用性广泛、稳健性强、计算简单和非唯一性等。
- 1 -。
第三节 最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 （1）由2ˆβ的计算公式可得： 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是，这里用到了因为t x 不全为零，可设2tt tx b x =∑，从而，t b 不全为零，故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
（2）因为12t t t Y X ββμ=++，所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是，这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 （1）因为12ˆˆY X ββ=-，所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里，令1a Xb n=-，则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
（2）因为回归模型为12t t t Y X ββμ=++，所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
而 110t t t tt t t a X Xb X X X b X n n X X ⎛⎫=-=- ⎪⎝⎭-=∑∑∑∑ 所以，11ˆt t a ββμ=+∑ 这说明1ˆβ是t μ的线性组合。
至此，参数的线性特性证明完毕。
问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、随机扰动项和的随机性来理解。
二、 无偏性的含义所谓无偏性是指估计值的均值等于真实值。
在这里，无偏性是指参数估计值1ˆβ和2ˆβ的期望值分别等于总体参数1β和2β。
其数学上要求是 ()11ˆE ββ=和()22ˆE ββ=。
证明：根据参数估计值的线性特征，我们推导出：11ˆt t a ββμ=+∑，所以有： ()()()()()()()()()()()111111ˆt t t t t t t t E E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+•=∑∑∑∑ 相似地，22ˆt t b ββμ=+∑，所以有 ()()()()()()()()()()()222222ˆt t t t t t t t E E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+•=∑∑∑∑ 三、 最优性（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值1ˆβ和2ˆβ在各种线性无偏估计中得到的方差最小。
根据上述的定义，我们可以任意假设2ˆβ*是用其他方法得到的总体参数2ˆβ的一个线性无偏估计。
因为2ˆβ*具有线性特性，我们可以得到： ()212ˆt t t t t c c X βββμ*==++∑∑Y ，()()()()()()()()21212121212ˆ0t t t t t t t t t t t t t t t t t t tE E c E c X c E X c c E X c E c c E X c c X βββμββμββμββββ*==++=++=++=++=+∑∑∑∑∑∑∑∑∑∑Y又因为2ˆβ*是用其他方法得到的总体参数2ˆβ的一个无偏估计，所以有 ()22ˆE ββ*= 所以由上述两个结果，可以得到：122t t t c c X βββ+=∑∑上述式子要成立，必须同时满足两个条件，即0tc=∑和1t t c X =∑现在求2ˆβ*的方差： ()()()()()()()()()()()()()222222221122222112211221133223322ˆvar var ˆˆt t t t t t t t t t t t t t t t t t t t t t t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμμμμμμ*⎡⎤==-⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤⎡⎤=-=-⎣⎦⎣⎦⎡⎤==++⋅⋅⋅+⎣⎦=++⋅⋅⋅++++⋅⋅⋅++∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()4422t t t s t s c c E c E μμμμμ⎡⎤+⋅⋅⋅+⋅⋅⋅⎣⎦=+∑∑∑因为根据假设条件（常数方差和非自相关，即()222var()(())t t t t uE E E μμμμσ=-==和 [][]cov(,)(())(())(0)(0)()0t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==所以，有()()()()2222222222ˆvar 2u t u t t t uttututttc c b b c b bb c b βσσσσσ*==-+⎡⎤⎣⎦=-++-⎡⎤⎣⎦∑∑∑∑∑2ˆβ*方差的最后一项为 ()()()()2222222111(1)11tttt ttt t t t t t tt tt tttt t b c b b c bx x c x x c x x c X X x c XX c x -=-⎡⎤⎣⎦⎛⎫⎛⎫=- ⎪ ⎪⎪ ⎪⎝⎭⎝⎭=-=--=--=∑∑∑∑∑∑∑∑∑∑∑∑∑∑这是因为0t c =∑和1t t c X =∑因此，有()()22222ˆvar u t t u tc b b βσσ*=-+∑∑ 很明显，当t t c b =时，2ˆβ*方差最小，此时，最小值为()222ˆvar u t b βσ*=∑。
而在此时，有22ˆˆt t t t c b ββ*===∑∑Y Y 即两个估计值相等。
因为2ˆβ*的最小方差等于2ˆβ的方差，即()()22ˆˆvar var ββ*≥，因此，我们说，2ˆβ在所有线性无偏估计中的方差最小，且最小方差为： ()22222ˆvar u uttbx σβσ==∑∑同理，我们可以证明，1ˆβ在所有线性无偏估计中的方差最小，且参数估计值的方差为：()()2212ˆvar u t t X n x σβ=∑∑。
由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。
从而在统计学和计量经济学中得到广泛应用。
第四节 系数的显著性检验一、 系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是t Y 和t μ的线性组合。
又因为t Y 和t μ都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。
从而，可以用随机变量的一些数字特征来表示。
通常，我们采用的是均值与方差。
系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，()11ˆE ββ=，()22ˆE ββ=。
这说明系数估计值1ˆβ和2ˆβ这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。
系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有()()2212ˆvar u t tX n xσβ=∑∑ ，()22222ˆvar u uttbxσβσ==∑∑。
至此，我们可以用随机变量的数学期望和方差来刻画1ˆβ和2ˆβ这两个随机变量的分布，即有：1ˆβ服从均值为1β、方差为()222u t tX n xσ∑∑的正态分布；而2ˆβ服从均值为2β、方差为22u txσ∑的分布。
用数学的语言可以描述为：()2211,2ˆu t t X N n x σββ⎛⎫ ⎪ ⎪⎝⎭∑∑:和222,2ˆu t N x σββ⎛⎫ ⎪ ⎪⎝⎭∑:。
可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。
随机扰动项是总体回归模型中的误差项，无法得到，只能对其估计。
二、 随机误差项方差的估计因为总体回归模型为：12t t t Y X ββμ=++而样本回归模型为：12ˆˆt t tY X e ββ=++ 从形式上看，样本回归模型中的残差t e 可以看作随机扰动项t μ的估计值。
进一步，残差t e 的方差可以作为随机扰动项t μ的方差2u σ的估计值。
样本回归模型为：12ˆˆt t t Y X e ββ=++ 样本回归直线为：12ˆˆˆt tX ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边，可得：ˆt t tY e -=Y ，把这个式子重新安排一下，可以得到： ()()ˆˆt t t t te Y Y Y Y =-=---Y Y现在，重点要求的是t e 的两个部分，即()ˆt Y -Y 和()tY Y -。
这两部分知道之后，才能求t e 的方差。
对样本回归模型12ˆˆt t tY X e ββ=++两边分别对t 求和，再除以n,有：1212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆt t ttttt t tt t t t Y X e Y X eY X e n n n n Y X e n n nn Y X e n ββββββββββ=++⇒=++⇒=++⇒=+⨯+⇒=++∑∑∑∑∑∑∑∑∑∑∑∑∑由前边的正规方程组，我们曾经知道，点(),X Y 在样本回归直线上，用数学的语言来讲，就有：12ˆˆY X ββ=+，因此，有 1212ˆˆˆˆˆt tX Y X ββββ=+=+Y ，进而，有 ()22ˆˆˆt t tY X X x ββ-=-=Y 对总体回归模型12t t t Y X ββμ=++两边分别对t 求和，再除以n,有：1212121211212111111111t t t tt t tt t tt t tnt Y X Y X Y X n n n n Y X n n n nY X Y X n μμββμββμββμββμββμββμ==++⇒=++⇒=++⇒=+⨯+∑⇒=++−−−−→=++∑∑∑∑∑∑∑∑∑∑∑∑∑ 所以，由1212t t t Y X Y X ββμββμ=++=++，可得，()()()22t t t t t Y Y X X x βμμβμμ-=-+-=+-将两部分结合起来，现在，我们可以得到：()()()22ˆˆˆˆt t t t t t tt t t e Y Y Y Y Y x Y Y x ββμμ=-=----=-=+-Y Y Y可以得到：()()22ˆt t te x ββμμ=-+-，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。
