总体最小二乘线性回归统一模型及解算_汪奇生等

The unified model and algorithm of total least squares linear regression
Wang Qisheng ，Yang Dehong ，Yang Tengfei
（ Faculty of Land Ｒesource Engineering，Kunming University of Science and Technology，Kunming 650093 ，China）
[ δa ]
δa0
1
根据最小二乘原理则可得到参数的估计值为 ： X = （ A T A） －1 A T L （ 11 ） 8］ 推导的参数 当自变量含有误差时， 文献 ［ 估值为： X = （ A T MA） －1 A T ML1 （ 12 ）
2 M = P yy － a2 1 P yy （ P xx + a 1 P xx ） －1
0724 ； 修订日期： 20130819 收稿日期： 2013作者简介： 汪奇生 （ 1989 － ） ， 男 （ 汉 族 ） ， 湖 南 衡 阳 人， 硕士．
88
工程勘察
Geotechnical Investigation ＆ Surveying
2014 年第 4 期
考虑因变量和自变量误差的条件平差法和间接平差 7］ 通过证明发现这两种模型并未达 法，但文献 ［ 到预定目标， 而是与普 通 的 最 小 二 乘 法 无 异。 为 7］ 以一元线性回归中同时考虑因变量 此，文献 ［ 和自变量的误差，所建立的 y 关于 x、x 关于 y 的回 归模型结果应一致为目的。通过条件平差模型推导 了一元线性回归总体最小二乘模型， 从实例分析来 看，其模型似乎较为合理且同时考虑了因变量和自 变量的误差。 但其实不然， 通过本文的推导证明， 把因变量和自变量看成是等精度时， 其平差结果虽 然与最小二乘平差结果不同，但与只考虑因变量误 差或只考虑自变量误差时的平差结果相 同。 文 献 ［ 8］ 归纳了一元线性回归带权重的两种平差模型， 并论证了其等价性问题。实际上不考虑权重时， 所 7］ 和 得结果与最小二乘平差结果无异。 且文献 ［ 8］ 都只讨论了一元线性回归模型， 而没有 文献 ［ 涉及到多元线性回归模型。 鉴于此， 本文在对上述 问题进行理论推导分析和证明时， 针对线性回归模 型的特点，提出了一种总体最小二乘线性回归的统 一模型， 运用迭代法进 行 参 数 求 解。 通 过 实 例 分 析，结果表明了本文所述方法的正确性和合理性 。 1 1. 1 总体最小二乘一元线性回归模型
2014 年第 4 期
工程勘察
Geotechnical Investigation ＆ Surveying
87

总体最小Байду номын сангаас乘线性回归统一模型及解算
汪奇生，杨德宏，杨腾飞
（ 昆明理工大学 国土资源工程学院 ，昆明 650093 ） 摘要： 对总体最小二乘线性回归问题进行了进一步的分析探讨 ， 针对文献中提出的同时考虑因变
一元线性回归条件平差模型 一元线性回归数学模型为： ^0 + a ^ 1x + Δ y = a （ 1） 7］ 建 为了同时考虑到 x 和 y 的误差， 文献 ［ ： 立如下一元线性回归模型 （ a0 + δ a0 ） （ x i + υ x i ） + （ a1 + δ a1 ） （ y i + υ y i ） = 1 i = 1， 2， …， n （ 2） ^ ^ 式中 a0 、a1 为回归参数， a0 、 a1 为参数的近似值， δa0 、δa1 为参数的改正数， υ x i 、 υ y i 为自变量 x 和因 变量 y 的改正数。 7］ ， 其条件方程为： FV + BX － W 按照文献 ［ = 0 ，参数估值为： （ 3） X =［ B T （ FF T ） －1 B］－1 B T （ FF T ） －1 W a0 a1 a0 a1 ，B = 式 （ 3 ） 中， F = a0 a1 x1 x2 xm y1 1 － a0 x1 － a1 y1 1 － a0 x2 － a1 y2 δa0 y2 ，W = ，X = δa1 1 － a0 x m － a1 y m ym
89
将式 （ 14 ） 代入到式 （ 12 ） 中， 得到的结果 与式 （ 11 ） 相同， 这说 明 在 不 考 虑 权 重 时， 文 献 ［ 8］ 所述方法与普通最小二乘法相同 。 2 2. 1 总体最小二乘线性回归统一模型 ［ υx1
V' =
[V ] [
Vy
x
P xx
T
（ 13 ）
T
[ ]
0 L ］ ，在 式中 A 与 X 的取值与上文一致， L1 = ［ 线性回归参数求解时一般不考虑权重， 则式 （ 13 ） 可变为： 2 M = （ 1 － a2 （ 14 ） 1 ） / （ 1 + a1 ）
2014 年第 4 期
工程勘察
Geotechnical Investigation ＆ Surveying
Abstract： This paper further analyzes the problem of total least squares linear regression ，especially the condition adjustment model and indirect adjustment model for simultaneous consideration of dependent variable error and independent variable error． Theoretical analysis and deduction showed ， when the dependent variables and independent variables are of equal precision ，the adjustment result didn't achieve the intended purpose． However，the result is consistent with the adjustment results in the case of only considering the dependent variable error． At the same time ，the adjustment models described in the literature are limited to the simple linear regression，and failed to discuss the total least squares problem in multivariate linear regression． In view of this，based on indirect adjustment method，this paper proposes a general unified least squares linear regression model and detail algorithm． The model considers the error of the dependent variables and independent variables， and meanwhile it can also be applied to the multivariate linear regression． The analysis of examples proved the correctness and rationality of the method described in this paper． Key words： total least squares； linear regression ； adjustment model 0 引言 ^ 1 x1 + … + a ^ k x k ， 是因变 ^0 +a 线性回归模型 y = a 量 y 与自变量 x i 的一种线性关系，在测量中应用广 泛。求取线性回归参数 a k 常规方法是最小二乘法。 把自变量看成是确定的不含误差的值， 因变量看成 是含有偶然误差的观测值。 这时， 求得的参数估值 ［1 ］ 就是最优无偏的 。 但如果自变量 x i 也含有误差， 则按最小二乘原理求得的参数估值就不再是最优。 2］ 提出了总体最小二乘理论来解决这类问 文献 ［ 题，近年来，一些学者将总体最小二乘原理引入到 测量数据处理中，并针对测量平差模型提出了一些 ［3 ， 4 ］ 。 与最小二乘相比 求取总体最小二乘解的方法 总体最小二乘具有明显的优势， 因为其同时考虑了 系数矩阵元素含有误差。与此同时， 针对线性回归 模型的特点，一些学者把总体最小二乘引入到线性 ［5 ～ 8 ］ ， 即同时考虑因变量和自变量 回归参数求解中 5］ 与文献 ［ 6］ 分别介绍了同时 的误差。文献 ［
量和自变量误差的条件平差模型和间接平差模型 ，通过理论分析和推导， 当把因变量与自变量看 成是等精度时其平差结果并未达到预定目的 ， 而是与只考虑因变量误差的平差结果一致。 同时， 文献中所述平差模型都只限于一元线性回归 ，而未讨论多元线性回归的总体最小二乘问题。 鉴于 此，本文基于间接平差方法提出了一种总体最小二乘线性回归的统一模型 ， 并推导了其具体解算 方法，该模型同时考虑了因变量和自变量的误差且同样适用于多元线性回归 。 通过实例分析， 说 明了本文所述方法的正确性和合理性 。 关键词： 总体最小二乘； 线性回归； 平差模型 + 中图分类号： TD172 . 3 文献标识码： A
在线性回归参数求解时， 一般不考虑权重。 则 7］ 可知： 由文献 ［ 2 （ 4） FF T = （ a2 0 + a1 ） I m 式 （ 4 ） 中 I m 为 m 阶的单位矩阵， 将式 （ 4 ） 代入到式 （ 3 ） 中得： （ 5） X = （ B T B ） －1 B T W 如果不考虑自变量 x 的误差， 将式 （ 2 ） 按最 小二乘条件平差进行解算，则可变为： （ a0 + δ a0 ） x i + （ a1 + δ a1 ） （ y i + υ） = 1 i = 1， 2， …， n （ 6） 同理可得参数估值为： X =［ B T （ FF T ） －1 B］－1 B T （ FF T ） －1 W （ 7） （ 7 ） （ 3 ） F ， 式 与式 中 的取值不同 按式 （ 7 ） F = a1 I m 则： FF T = a2 （ 8） 1I 将式 （ 8 ） 代入到式 （ 7 ） 中得到的结果与式 （ 3 ） 一样，同理，可以根据上文所述推导， 当只考 虑自变量误差时得到的结果与上文结果也是一致 7］ 所述平差 的。这说明在不考虑权重时， 文献 ［ 模型在同时考虑自变量误差与只考虑因变量误差或 只考虑自变量误差求得的平差值是一致的 。 1. 2 一元线性回归间接平差模型 8］ ，一元线性回归模型为： 由文献 ［ y i + υ y i = δ a0 + a0 + （ δ a1 + a1 ） （ x i + υ x i ） （ 9） υ x i = δx i 当自变量不含误差时，按间接平差原理式 （ 9 ） 可表示为： V = AX － L （ 10 ） 1 x1 y1 － a0 － a1 x1 1 x2 y2 － a0 － a1 x2 ，L = ， 式 （ 10 ） 中， A = 1 xm y m － a0 － a1 x m X=