三种回归算法及其优缺点，将会为我们理解和选择算
法提供很好的帮助
?任何一个机器学习问题都有着不止一种算法来解决，在机器学习领域“没有免费的午餐”的意思就是没有一个对于所有问题都很好的算法。机器学习算法的表现很大程度上与数据的结构和规模有关。所以判断算法性能最好的办法就是在数据上运行比较结果。
?
?
?不过与此同时我们对于算法的优缺点有一定的了解可以帮助我们找需要的算法。本文将会介绍三种回归算法及其优缺点，将会为我们理解和选择算法提供很好的帮助。
?
?
?线性和多项式回归
?
?在这一简单的模型中，单变量线性回归的任务是建立起单个输入的独立变量与因变量之间的线性关系；而多变量回归则意味着要建立多个独立输入变量与输出变量之间的关系。除此之外，非线性的多项式回归则将输入变量进行一系列非线性组合以建立与输出之间的关系，但这需要拥有输入输出之间关系的一定知识。训练回归算法模型一般使用随机梯度下降法(SGD)。
?
?
多元线性回归分析预测法 (重定向自多元线性回归预测法) 多元线性回归分析预测法（Multi factor line regression method，多元线性回归分析法） [编辑] 多元线性回归分析预测法概述 在市场的经济活动中，经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况，也就是一个因变量和几个自变量有依存关系的情况。而且有时几个影响因素主次难以区分，或者有的因素虽属次要，但也不能略去其作用。例如，某一商品的销售量既与人口的增长变化有关，也与商品价格变化有关。这时采用一元回归分析预测法进行预测是难以奏效的，需要采用多元回归分析预测法。 多元回归分析预测法，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。 [编辑] 多元线性回归的计算模型[1] 一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释
因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。 设y为因变量，为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为： 其中，b0为常数项，为回归系数，b1为固定时，x1每增加一 个单位对y的效应，即x1对y的偏回归系数；同理b2为固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： 其中，b0为常数项，为回归系数，b1为固定时，x2每增加一 个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： y = b0 + b1x1 + b2x2 + e 建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是： (1)自变量对因变量必须有显著的影响，并呈密切的线性相关； (2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的； (3)自变量之彰应具有一定的互斥性，即自变量之彰的相关程度不应高于自变量与因变量之因的相关程度； (4)自变量应具有完整的统计数据，其预测值容易确定。 多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和()为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为 解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得
多元线性回归的计算方法 摘要 在实际经济问题中，一个变量往往受到多个变量的影响。例如，家庭 消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有的财富、物价水平、金融机构存款利息等多种因素的影响，表现在线性回归模型中的解释变量有多个。这样的模型被称为多元线性回归模型。 多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由 于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。 但由于各个自变量的单位可能不一样，比如说一个消费水平的关系式中，工资水平、受教育程度、职业、地区、家庭负担等等因素都会影响到消费水平，而这些影响因素（自变量）的单位显然是不同的，因此自变量前系数的大小并不能说明该因素的重要程度，更简单地来说，同样工资收入，如果用元为单位就比用百元为单位所得的回归系数要小，但是工资水平对消费的影响程度并没有变，所以得想办法将各个自变量化到统一的单位上来。前面学到的标准分就有这个功能，具体到这里来说，就是将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示如下： Zy=β1Zx1+β2Zx2+…+βkZxk 注意，由于都化成了标准分，所以就不再有常数项a 了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分0，当等式两端的变量都取0时，常数项也就为0了。 多元线性回归模型的建立 多元线性回归模型的一般形式为 Yi=β0+β1X1i+β2X2i+…+i i i i h x υβ+ =1,2,…,n 其中 k 为解释变量的数目，j β=（j=1,2,…,k)称为回归系数 （regression coefficient)。上式也被称为总体回归函数的随机表达式。它的非随机表达式为 E(Y∣X1i,X2i,…Xki,)=β0+β1X1i+β2X2i+…+βkXki βj 也被称为偏回归系数（partial regression coefficient) 多元线性回归的计算模型
数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 (2-1-3) 由(2-1-2)式，并考虑上述条件，则 (2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 (2-1-5) 其中 (2-1-6)
(2-1-7) 式中，L xy称为xy的协方差之和，L xx称为x的平方差之和。 如果改写(2-1-1)式，可得 (2-1-8) 或 (2-1-9) 由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出 a=1231.65 b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为 y=1231.65-2236.63x 四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即 E(Y|X=x)=f(x) (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则 E(Y|X=x)=α+βx (2-1-11) 或 Y=α+βx+ε(2-1-12) 其中 ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计 式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？ 1. 无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(x i,y i)是n个相互独立的观测值 (2)εi是服从分布的随机变量 则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即 E(a)= α E(b)=β 由此可推知 E()=E(y)
总结：线性回归分析的基本 步骤 -标准化文件发布号：（9556-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
线性回归分析的基本步骤 步骤一、建立模型 知识点： 1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。Y X U β=+ 特点：由于随机误差项U 的存在，使得Y 和X 不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X ）与每周消费（Y ）数据如下： 作出其散点图如下：
②总体回归方程（线）：由于假定0EU =，因此因变量的均值与自变量总处于一条直线上，这条直线()|E Y X X β=就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例 由于01|i i i E Y X X ββ=+，因此任意带入两个X i 和其对应的E (Y |X i )值，即可求出01ββ和，并进而得到总体回归方程。
如将()()222777100,|77200,|137X E Y X X E Y X ====和代入 ()01|i i i E Y X X ββ=+可得：0100117710017 1372000.6ββββββ=+=?????=+=?? 以上求出01ββ和反映了E (Y |X i )和X i 之间的真实关系，即所求的总体回归方程为：()|170.6i i i E Y X X =+，其图形为： ③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。如在例1中，通过抽样考察，我们得到了20个家庭的样本数据： 那么描述样本数据中因变量Y 和自变量X 之间非确定依赖关系的模型 ?Y X e β =+就称为样本回归模型。
一元线性回归分析法 一元线性回归分析法是根据过去若干时期的产量和成本资料，利用最小二乘法“偏差平方和最小”的原理确定回归直线方程，从而推算出a(截距)和b(斜率)，再通过y ＝a+bx 这个数学模型来预测计划产量下的产品总成本及单位成本的方法。 方程y ＝a+bx 中，参数a 与b 的计算如下： y b x a y bx n -==-∑∑ 222 n xy x y xy x y b n x (x)x x x --==--∑∑∑∑∑∑∑∑∑ 上式中，x 与y 分别是i x 与i y 的算术平均值，即 x =n x ∑ y =n y ∑ 为了保证预测模型的可靠性，必须对所建立的模型进行统计检验，以检查自变量与因变量之间线性关系的强弱程度。检验是通过计算方程的相关系数r 进行的。计算公式为： 22xy-x y r= (x x x)(y y y) --∑∑∑∑∑∑ 当r 的绝对值越接近于1时，表明自变量与因变量之间的线性关系越强，所建立的预测模型越可靠；当r ＝l 时，说明自变量与因变量成正相关，二者之间存在正比例关系；当r ＝—1时，说明白变量与因变量成负相关，二者之间存在反比例关系。反之，如果r 的绝对值越接近于0，情况刚好相反。 [例]以表1中的数据为例来具体说明一元线性回归分析法的运用。 表1： 根据表1计算出有关数据，如表2所示： 表2：
将表2中的有关数据代入公式计算可得： 1256750x == （件） 2256 1350y ==（元） 1750 9500613507501705006b 2=-??-?=（元/件） 100675011350a =?-=（元/件） 所建立的预测模型为： y ＝100+X 相关系数为： 9.011638 10500])1350(3059006[])750(955006[1350 750-1705006r 22==-??-???= 计算表明，相关系数r 接近于l ，说明产量与成本有较显著的线性关系，所建立的回归预测方程较为可靠。如果计划期预计产量为200件，则预计产品总成本为： y ＝100+1×200＝300(元)
第一节一元线性回归分析预测法 一、概念（思路） 根据预测变量（因变量）Y和影响因素（自变量）X的历史统计数据，建立一元线性回归方程，然后代入X的预测值，求出Y的预测值的方法。 基本公式：y=a+bx 其中：a、b为回归系数，是未知参数。 基本思路： 1、利用X，Y的历史统计数据，求出合理的回归系数：a、b，确 定出回归方程 2、根据预计的自变量x的取值，求出因变量y的预测值。 二、一元线性回归方程的建立 1、使用散点图定性判断变量间是否存在线性关系 例：某地区民航运输总周转量和该地区社会总产值由密切相关关系。
2、使用最小二乘法确定回归系数 使实际值与理论值误差平方和最小的参数取值。 对应于自变量x i，预测值（理论值）为b+m*x i，实际值y i， min∑(y i-b-mx i)2，求a、b的值。 使用微积分中求极值的方法，得： 由下列方程代表的直线的最小二乘拟合直线的参数公式： 其中 m 代表斜率，b 代表截距。 一元线性回归.xls 三、回归方程的显著性检验 判断X、Y之间是否确有线性关系，判定回归方程是否有意义。 有两类检验方法：相关系数检验法和方差分析法 1、相关系数检验法 构造统计量r 相关系数的取值范围为：[-1，1]，|r|的大小反映了两个变量间线性关系的密切程度，利用它可以判断两个变量间的关系是否可以用直线方程表示。
两个变量是否存在线性相关关系的定量判断规则： 对于给定的置信水平α，从相关系数临界值表中查出r临（n-2），把其与用样本计算出来的统计量r0比较： 若|r0|〉r临（n-2）成立，则认为X、Y之间存在线性关系，回归方程在α水平上显著。差异越大，线性关系越好。反之则认为不显著，回归方程无意义，变量间不存在线性关系。 其中：n为样本数。 2、方差分析法： 方差分析的基本特点是把因变量的总变动平方和分为两部分，一部分反映因变量的实际值与用回归方程计算出的理论值之差，一部分反映理论值与实际值的平均值之差。 Y的总变差=Y的残余变差+Y的说明变差，SST=SSE+SSR 或：总离差平方和=剩余平方和+回归平方和 回归平方和U与剩余平方和Q相比越大，说明回归效果越好。
最小二乘法拟合一条直线（C语言代码） #include
线性回归 1. 代价函数最小化的方法: ● (批量)梯度下降法 ● 正归方程 2. 梯度下降法 先假设一个定点,然后按照一定的步长顺着这个点的梯度进行更新迭代下去,最后可以找到一个局部最优点,使代价函数在这个局部取得最小值 量(vector) 测 价
度 注: 1.是对θi的求偏导 2.批量梯度下降的每一步都用到了所有的训练样本 3.在多维问题中,要保证这些特征值都具有相近的维度,使得梯度下降 算法更快的收敛. 特征缩放公式: 1.除以最大值 2. 3.学习率的选择: 可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛通常可以考虑尝试些学习率:α=0.01,0.03,0.1,0.3,1,3,10 规可以一次性求出最优解 ①定义训练的参数(学习率训练次数打印步长) ②输入训练集(定义占位符X = tf.placeholder("float")Y = tf.placeholder("float")) ③随机生成w与b(初始化的方式很多种,方式不同可能会影响训练效果) ④创建线性模型(pred = tf.add(tf.multiply(X, W), b))
⑤用均方差计算training cost(cost = tf.reduce_sum(tf.pow(pred-Y, 2))/(2*n_samples)) ⑥使用梯度下降进行优化(optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)) ⑦变量初始化与创建图 init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) ⑧开始训练 Fit所有的训练数据 设定每50次的打印内容 ⑨用测试集进行测试 计算testing cost 计算training cost 与testing cost之间的差值并输出 ⑩画图 程序: import tensorflow as tf import numpy import matplotlib.pyplot as plt rng = numpy.random #产生随机数 # Parameters(参数学习率训练次数打印步长) learning_rate = 0.01 training_epochs = 1000 display_step = 50 # Training Data train_X = numpy.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167, 7.042,10.791,5.313,7.997,5.654,9.27,3.1]) train_Y= numpy.asarray([1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221, 2.827, 3.465,1.65,2.904,2.42,2.94,1.3]) n_samples = train_X.shape[0] # tf Graph Input X = tf.placeholder("float") Y = tf.placeholder("float")
回归分析方法总结全面
————————————————————————————————作者：————————————————————————————————日期：
一、什么是回归分析 回归分析(Regression Analysis)是研究变量之间作用关系的一种统计分析方法，其基本组成是一个（或一组）自变量与一个（或一组）因变量。回归分析研究的目的是通过收集到的样本数据用一定的统计方法探讨自变量对因变量的影响关系，即原因对结果的影响程度。 回归分析是指对具有高度相关关系的现象，根据其相关的形态，建立一个适当的数学模型(函数式)，来近似地反映变量之间关系的统计分析方法。利用这种方法建立的数学模型称为回归方程，它实际上是相关现象之间不确定、不规则的数量关系的一般化。 二、回归分析的种类 1.按涉及自变量的多少，可分为一元回归分析和多元回归分析一元回归分析是对一个因变量和一个自变量建立回归方程。多元回归分析是对一个因变量和两个或两个以上的自变量建立回归方程。 2.按回归方程的表现形式不同，可分为线性回归分析和非线性回归分析 若变量之间是线性相关关系，可通过建立直线方程来反映，这种分析叫线性回归分析。 若变量之间是非线性相关关系，可通过建立非线性回归方程来反映，这种分析叫非线性回归分析。 三、回归分析的主要内容 1.建立相关关系的数学表达式。依据现象之间的相关形态，建立适当的数学模型，通过数学模型来反映现象之间的相关关系，从数量上近似地反映变量之间变动的一般规律。 2.依据回归方程进行回归预测。由于回归方程反映了变量之间的一般性关系，因此当自变量发生变化时，可依据回归方程估计出因变量可能发生相应变化的数值。因变量的回归估计值，虽然不是一个必然的对应值(他可能和系统真值存在比较大的差距)，但至少可以从一般性角度或平均意义角度反映因变量可能发生的数量变化。 3.计算估计标准误差。通过估计标准误差这一指标，可以分析回归估计值与实际值之间的差异程度以及估计值的准确性和代表性，还可利用估计标准误差对因变量估计值进行在一定把握程度条件下的区间估计。 四、一元线性回归分析 1.一元线性回归分析的特点 1)两个变量不是对等关系，必须明确自变量和因变量。 2)如果x和y两个变量无明显因果关系，则存在着两个回归方程：一个是以x为自变量，y 为因变量建立的回归方程；另一个是以y为自变量，x为因变量建立的回归方程。若绘出图
一元回归分析 在数学关系式中只描述了一个变量与另一个变量之间的数量变化关系，则称其为一元回归分析。 其回归模型为 y 称为因变量，x称为自变量，称为随机误差，a,b 称为待估计的回归参数，下标i表示第i个观测值。 如果给出a和b的估计量分别为,，则经验回归方程: 一般把称为残差，残差可视为扰动的“估计量”。 例子: 湖北省汉阳县历年越冬代二化螟发蛾盛期与当年三月上旬平均气温的数据如表1-1，分析三月上旬平均温度与越冬代二化螟发蛾盛期的关系。 表1-1 三月上旬平均温度与越冬代二化螟发蛾盛期的情况表 数据保存在“DATA6-1.SAV”文件中。 1）准备分析数据 在数据编辑窗口中输入数据。建立因变量历期“历期” 在SPSS数据编辑窗口中，创建“年份”、“温度”和“发蛾盛期”变量，并把数据输入相应的变量中。或者打开已存在的数据文件“DATA6-1.SAV”。
2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Linear”项，将打开如图1-1所示的线性回归过程窗口。 图1-1 线性回归对话窗口 3) 设置分析变量 设置因变量：本例为“发蛾盛期”变量，用鼠标选中左边变量列表中的“发蛾盛期”变量，然后点击“Dependent”栏左边的向右拉按钮，该变量就自动调入“Dependent”显示栏里。 设置自变量：选择一个变量作为自变量进入“Independent(S)”框中。用鼠标选中左边变量列表中的“温度”变量，然后点击“Independent(S)”栏左边的向右拉按钮，该变量就自动调入“Independent(S)”显示栏里。 注：SPSS中一元回归和多元回归以及多元逐步回归都是使用同一过程，所以该栏可以输入多个自变量。 设置控制变量 “Selection Variable”为控制变量输入栏。控制变量相当于过滤变量，即必须当该变量的值满足设置的条件时，观测量才
最小平方法在回归分析和趋势预测中的应用 最小平方法，又称最小二乘法。其方法的计算依据是利用算术平均数的数学性质，在我们介绍算术平均数的数学性质时，有两条性质分别是：一、各个变量值与平均数的离差之和等于零，用表达式表示即0)(=-∑x x ；二、各个变量值与平均数的离差平方之和为最小值，用表达式表示为最小值 =-∑2 ) (x x 。这两条数学性质已证明过，我们把它们应用到 回归分析和趋势预测中来。回归分析和时间序列趋势预测中，主要是为求得回归方程或趋势方程，但在求得方程的参数时，就要用到上面的两条数学性质。 最小平方法的数学依据是实际值(观察值)与理论值(趋势值)的离差平方和为最小。据此来拟合回归方程或趋势方程。 1、利用最小平方法拟合直线回归方程 拟合直线回归方程的主要问题就在于估计待定参数a 和b 之值，而用最小平方法求出的回归直线是原有资料的“最佳”拟合直线。 假设直线回归方程为：bx a y c +=，其中a 是直线的截距，b 是直线的斜率，称回归系数。a 和b 都是待定参数。将给定的自变量x 之值代入上述方程中，可求出估计的因变量 y 之值。这个估计值不是一个确定的数值，而是y 许多可能取值的平均数，所以用c y 表示。当x 取某一个值时，y 有多个可能值。因此，将给定的x 值代入方程后得出的c y 值，只能 看作是一种平均数或期望值。配合直线方程的具体方法如下： ∑=-= 最小值 2 )(c y y Q (1) 用直线方程bx a y c +=代入式(1)得： 最小值 =--= ∑2 ) (bx a y Q (2) 分别求Q 关于a 和Q 关于b 的偏导，并令它们等于0： ?????=---=??=---=??∑∑0 ))((20)1)((2x bx a y b Q bx a y a Q 整理后得出由下列两个方程式所组成的标准方程组： ???+=+=∑∑∑∑∑2 x b x a xy x b na y (3) 根据已知的或样本的相应资料x 、y 值代入式(3)，可求出a 和b 两个参数：
对多元线性回归模型的各种检验方法 对于形如 u X X X Y k k +++++=ββββ 22110 （1） 的回归模型，我们可能需要对其实施如下的检验中的一种或几种检验： 一、 对单个总体参数的假设检验：t 检验 在这种检验中，我们需要对模型中的某个（总体）参数是否满足虚拟假设0 H ：j j a =β，做出具有统计意义（即带有一定的置信度）的检验，其中j a 为某个给定的已知数。特别是，当j a =0时，称为参数的（狭义意义上的）显著性检验。如果拒绝0H ，说明解释变量j X 对 被解释变量Y 具有显著的线性影响，估计值j β?才敢使 用；反之，说明解释变量j X 对被解释变量Y 不具有显 著的线性影响，估计值j β?对我们就没有意义。具体检验 方法如下： （1） 给定虚拟假设 0H ：j j a =β；
（2） 计算统计量 )?(?)?()(?j j j j j j Se a Se E t βββββ-=-= 的数值； 11?)?(++-==j j jj jj j C C Se 1T X)(X ，其中σβ （3） 在给定的显著水平α下（α不能大于1.0即 10%，也即我们不能在置信度小于90%以下的前提下做结论），查出双尾t （1--k n ）分布的临界值2/αt ； （4） 如果出现 2/αt t >的情况，检验结论为拒绝 0H ；反之，无法拒绝0H 。 t 检验方法的关键是统计量 )?(?j j j Se t βββ-=必须服从已 知的t 分布函数。什么情况或条件下才会这样呢？这需要我们建立的模型满足如下的条件（或假定）： （1） 随机抽样性。我们有一个含n 次观测的随机样(){}n i Y X X X i ik i i ,,2,1:,,,,21 =。这保证了误差u 自身的随机性，即无自相关性，
一元线性回归分析的应用 ——以微生物生长与温度关系为例 摘要：一元线性回归预测法是分析一个因变量与一个自变量之间的线性关系的预测方法。应用最小二乘法确定直线，进而运用直线进行预测。本文运用一元线性回归分析的方法，构建模型并求出模型参数，对分析结果的显著性进行了假设检验，从而了微生物生长与温度间的关系。 关键词：一元线性回归分析；最小二乘法；假设检验；微生物；温度 回归分析是研究变量之间相关关系的统计学方法，它描述的是变量间不完全确定的关系。回归分析通过建立模型来研究变量间的这种关系，既可以用于分析和解释变量间的关系，又可用于预测和控制，进而广泛应用于自然科学、工程技术、经济管理等领域。本文尝试用一元线性回归分析方法为微生物生长与温度之间的关系建模，并对之后几年的情况进行分析和预测。 1 一元线性回归分析法原理 1.1 问题及其数学模型 一元线性回归分析主要应用于两个变量之间线性关系的研究，回归模型模型为εββ++=x Y 10，其中10,ββ为待定系数。实际问题中，通过观测得到n 组数据（X i ，Y i ）（i=1,2,…,n ）,它们满足模型i i i x y εββ++=10（i=1,2,…,n ）并且通常假定E(εi )=0，V ar (εi )=σ2各εi 相互独立且服从正态分布。回归分析就是根据样本观 察值寻求10,ββ的估计10?,?ββ，对于给定x 值, 取x Y 10???ββ+=，作为x Y E 10)(ββ+=的估计，利用最小二乘法得到10,ββ的估计10? ,?ββ，其中??? ? ??????? ??-???? ??-=-=∑ ∑ ==n i i n i i i x n x xy n y x x y 1221110???βββ。 1.2 相关系数 上述回归方程存在一些计算相关系数。设L XX =∑ ∑==-=-=n i i n i i def xx x n x x x L 1 2 2 1 2 )(，称为关于X 的离
二、多元线性回归模型 在多要素的地理环境系统中，多个（多于两个）要素之间也存在着相互影响、相互关联的情况。因此，多元地理回归模型更带有普遍性的意义。 （一）多元线性回归模型的建立 假设某一因变量y 受k 个自变量k x x x ,...,,21的影响，其n 组观测值为（ka a a a x x x y ,...,,,21）， n a ,...,2,1=。那么，多元线性回归模型的结构形式为： a ka k a a a x x x y εββββ+++++=...22110（3.2.11） 式中： k βββ,...,1,0为待定参数； a ε为随机变量。 如果k b b b ,...,,10分别为k ββββ...,,,210的拟合值，则回归方程为 ?=k k x b x b x b b ++++...22110（3.2.12） 式中： 0b 为常数； k b b b ,...,,21称为偏回归系数。 偏回归系数i b （k i ,...,2,1=）的意义是，当其他自变量j x （i j ≠）都固定时，自变量i x 每变化一个单位而使因变量y 平均改变的数值。 根据最小二乘法原理，i β（k i ,...,2,1,0=）的估计值i b （k i ,...,2,1,0=）应该使 ()[]min (2) 1 2211012 →++++-=??? ??-=∑∑==∧ n a ka k a a a n a a a x b x b x b b y y y Q （3.2.13） 有求极值的必要条件得 ???????==??? ??--=??=??? ??--=??∑∑=∧=∧n a ja a a j n a a a k j x y y b Q y y b Q 110) ,...,2,1(0202（3.2.14） 将方程组（3.2.14）式展开整理后得：
线性回归分析的基本步骤 步骤一、建立模型 知识点： 1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。Y X U β=+ 特点：由于随机误差项U 的存在，使得Y 和X 不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X ）与每周消费（Y ）数据如下： 作出其散点图如下：
②总体回归方程（线）：由于假定0EU =，因此因变量的均值与自变量总处于一条直线上，这条直线()|E Y X X β=就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例 由于01|i i i E Y X X ββ=+，因此任意带入两个X i 和其对应的E (Y |X i )值，即可求出01ββ和，并进而得到总体回归方程。 如将()()222777100,|77200,|137X E Y X X E Y X ====和代入 ()01|i i i E Y X X ββ=+可得：0100117710017 1372000.6ββββββ=+=?????=+=?? 以上求出01ββ和反映了E (Y |X i )和X i 之间的真实关系，即所求的总体回归方程为：()|170.6i i i E Y X X =+，其图形为：
③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。如在例1中，通过抽样考察，我们得到了20个家庭的样本数据： 那么描述样本数据中因变量Y 和自变量X 之间非确定依赖关系的模型 ?Y X e β =+就称为样本回归模型。 ④样本回归方程（线）：通过样本数据估计出?β ，得到样本观测值的拟合值与解释变量之间的关系方程??Y X β=称为样本回归方程。如下图所示： ⑤四者之间的关系： ⅰ：总体回归模型建立在总体数据之上，它描述的是因变量Y 和自变量X 之间的真实的非确定型依赖关系；样本回归模型建立在抽样数据基础之
回归分析法 摘要：略。 关键词：回归分析、回归模型、相关性检验、置信区间。 回归分析的起源：回归分析起源.doc 回归分析定义：利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的分析方法。 分类： 1.根据因变量和自变量的个数来分类： 一元回归分析；多元回归分析； 2. 根据因变量和自变量的函数表达式来分类： 线性回归分析；非线性回归分析； 几点说明： 1.通常情况下，线性回归分析是回归分析法中最基本的方法，当遇到非线性回 归分析时，可以借助数学手段将其化为线性回归；因此，主要研究线性回归问题，一点线性回归问题得到解决，非线性回归也就迎刃而解了，例如，取对数使得乘法变成加法等；当然，有些非线性回归也可以直接进行，如多项式回归等； 2.在社会经济现象中，很难确定因变量和自变量之间的关系，它们大多是随机 性的，只有通过大量统计观察才能找出其中的规律。随机分析是利用统计学原理来描述随机变量相关关系的一种方法； 3.由回归分析法的定义知道，回归分析可以简单的理解为信息分析与预测。信 息即统计数据，分析即对信息进行数学处理，预测就是加以外推，也就是适当扩大已有自变量取值范围，并承认该回归方程在该扩大的定义域内成立，然后就可以在该定义域上取值进行“未来预测”。当然，还可以对回归方程进行有效控制； 4.相关关系可以分为确定关系和不确定关系。但是不论是确定关系或者不确定 关系，只要有相关关系，都可以选择一适当的数学关系式，用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况。
最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下： ①析数据，分析相关数据，求得相关系数r，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系． ②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型． ③求参数．利用回归直线y=bx+a的斜率和截距的最小二乘估计公式，求出b，a，的值．从而确定线性回归方程． ④求估值．将已知的解释变量的值代入线性回归方程y=bx+a中，即可求得y的预测值． 注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值． 经典例题： 下图是某地区2000年至2016年环境基础设施投资额（单位：亿元）的折线图．
为了预测该地区2018年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据2000年至2016年的数据（时间变量的值依次为1,2.，……，17）建立模型①：y=+；根据2010年至2016年的数据（时间变量的值依次为）建立模型②：y=99+． （1）分别利用这两个模型，求该地区2018年的环境基础设施投资额的预测值； （2）你认为用哪个模型得到的预测值更可靠并说明理由． 思路分析：（1）两个回归直线方程中无参数，所以分别求自变量为2018时所对应的函数值，就得结果，（2）根据折线图知2000到2009，与2010到2016是两个有明显区别的直线，且2010到2016的增幅明显高于2000到2009，也高于模型1的增幅，因此所以用模型2更能较好得到2018的预测. 解析：（1）利用模型①，该地区2018年的环境基础设施投资额的预测值为 =–+×19=（亿元）． 利用模型②，该地区2018年的环境基础设施投资额的预测值为 =99+×9=（亿元）． （2）利用模型②得到的预测值更可靠．理由如下： （i）从折线图可以看出，2000年至2016年的数据对应的点没有随机散布在直线y=–+上下，这说明利用2000年至2016年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势．2010年相对2009年的环境基础设施投资额有明显增加，2010年至2016年的数据对应的点位于一条直线的附近，这说明从2010年开始环境基础设施投资额的变化规律呈线性增长趋势，利
线性回归假设特征和结果满?足线性关系。其实线性关系的表达能?力力?非常强?大，每个特征对结果的影响强弱可以由前?面的参数体现，?而且每个特征变量量可以?首先映射到?一个函数，然后再参与线性计算。这样就可以表达特征与结果之间的?非线性关系。 我们可以有这样的模型表达： 其中，表示?自变量量（特征分量量），表示因变量量，表示对应?自变量量（特征）的权重，是偏倚项（?又称为截距）。 对于参数，在物理理上可以解释为：在?自变量量（特征）之间相互独?立的前提下，反映?自变量量对因变量量的影响程度，越?大，说明对结果的影响越?大。因此，我们可以通过每个?自变量量 （特征）前?面的参数，可以很直观的看出那些特征分量量对结果的影响?比较?大。如果令，可以将上述模型写成向量量形式，即：其中均为向量量，为的转置。 在上述公式中，假设特征空间与输?入空间相同。准确地讲，模型表达式要建?立的是特征空间与结果之间的关系。在?一些应?用场合中，需要将输?入空间映射到特征空间中，然后建模，定义映射 函数为，因此我们可以把公式写成更更通?用的表达公式：特征映射相关技术，包括特征哈希、特征学习、等。 机器?学习算法系列列（2）：线性回归?一、线性回归模型 y =+++···+θ0θ1x 1θ2x 2θn x n ,,···,x 1x 2x n y θi θ0θθi x i y θi x i y =1,y =(x )x 0h θ(x )==x h θ∑i =0n θi x i θT θ=(,,···,)，x =(1,,,···,)θ0θ1θn x 1x 2x n θT θx Φ(x )(x )=Φ(x ) h θθT Kernel ?二、?目标函数 2.1 ?目标函数
环球雅思学科教师辅导讲义讲义编号：组长签字: 签字日期:
3．(20１１·陕西）设(x 1，y１),(x2,y2)，…，(xｎ，y n)是变量x和ｙ的n个样本点，直线l是由这些样本点通过最小二乘法得到的线性回归直线(如图）,以下结论中正确的是（)． A．x和y的相关系数为直线l的斜率 B．x和y的相关系数在0到1之间 C．当ｎ为偶数时，分布在l两侧的样本点的个数一定相同 D.直线l过点(错误!，错误!) 解析因为相关系数是表示两个变量是否具有线性相关关系的一个值,它的 绝对值越接近1,两个变量的线性相关程度越强,所以Ａ、B错误．C中n 为偶数时,分布在l两侧的样本点的个数可以不相同，所以Ｃ错误．根据回 归直线方程一定经过样本中心点可知D正确,所以选D. 答案 D 4.(２01１·广东)为了解篮球爱好者小李的投篮命中率与打篮球时间之间的关系,下表记录了小李某月1号到５号每 天打篮球时间ｘ（单位：小时)与当天投篮命中率y之间的关系: 时间x 1234 5 命中率y 0.40.50.60.60.4 小李这５天的平均投篮命中率为＿_＿___＿＿;用线性回归分析的方法，预测小李该月6号打6小时篮球的投篮命中率为＿___＿_＿_. 解析小李这5天的平均投篮命中率 错误!=错误!=0.5， 可求得小李这5天的平均打篮球时间错误!＝3.根据表中数据可求得错误!=０．01，错误!＝ 0.47，故回归直线方程为错误!=0．4７＋0.０１x，将ｘ＝6代入得６号打６小时篮球的 投篮命中率约为0．53. 答案0.５０．5３ 5.(2０1１·辽宁）调查了某地若干户家庭的年收入x(单位:万元)和年饮食支出y(单位:万元),调查显示年收入x与年 饮食支出y具有线性相关关系，并由调查数据得到y对x的回归直线方程:错误!＝0.2５4x＋０.321．由回归直线方程可知，家庭年收入每增加1万元,年饮食支出平均增加＿_______万元. 解析由题意知[0.２54(x+１)＋0.321]-（0.2５４x+0.321)＝０.254. 答案０.254 ６．（2０１1·安徽)某地最近十年粮食需求量逐年上升,下表是部分统计数据:
第5章自变量选择与逐步回归 思考与练习参考答案 自变量选择对回归参数的估计有何影响 答：回归自变量的选择是建立回归模型得一个极为重要的问题。如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。 自变量选择对回归预测有何影响 答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣 C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用 p 归方程的优劣。 试述前进法的思想方法。 答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m 个一元线性回归方程, 并计算F检验值，选择偏回归平方和显着的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的两变量变量（F 值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的三个变量（F值最大）进入回归方程。不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值