一元线性回归的经验公式与最小二乘法

《土地利用规划学》一元线性回归分析学院：资源与环境学院班级：2013009姓名：x学号：201300926指导老师：x目录一、根据数据绘制散点图： (1)二、用最小二乘法确定回归直线方程的参数： (1)1）最小二乘法原理 (1)2）求回归直线方程的步骤 (3)三、回归模型的检验： (4)1）拟合优度检验（R2）： (4)2）相关系数显著性检验： (5)3）回归方程的显著性检验（F 检验） (6)四、用excel进行回归分析 (7)五、总结 (15)一、根据数据绘制散点图：◎由上述数据，以销售额为y 轴（因变量），广告支出为X 轴（自变量）在EXCEL 可以绘制散点图如下图：◎从散点图的形态来看，广告支出与销售额之间似乎存在正的线性相关关系。

大致分布在某条直线附近。

所以假设回归方程为：x y βα+=二、用最小二乘法确定回归直线方程的参数： 1）最小二乘法原理年份 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 广告支出（万元）x 4.00 7.00 9.00 12.00 14.00 17.00 20.00 22.00 25.00 27.00销售额y7.00 12.00 17.00 20.00 23.00 26.00 29.00 32.00 35.00 40.00最小二乘法原理可以从一组测定的数据中寻求变量之间的依赖关系，这种函数关系称为经验公式。

考虑函数y=ax+b ，其中a,b 为待定常数。

如果Pi(xi,yi)（i=1,2,...,n ）在一条直线上，则可以认为变量之间的关系为y=ax+b 。

但一般说来, 这些点不可能在同一直线上. 记Ei=yi-(axi+b)，它反映了用直线y=ax+b 来描述x=xi ，y=yi 时，计算值y 与实际值yi 的偏差。

当然，要求偏差越小越好，但由于Ei 可正可负，所以不能认为当∑Ei=0时，函数y=ax+b 就好好地反应了变量之间的关系，因为可能每个偏差的绝对值都很大。

回归预测法回归预测法回归预测法是指根据预测的相关性原则，找出影响预测目标的各因素，并用数学方法找出这些因素与预测目标之间的函数关系的近似表达，再利用样本数据对其模型估计参数及对模型进行误差检验，一旦模型确定，就可利用模型，根据因素的变化值进行预测。

回归预测法一元线性回归预测法(最小二乘法)公式：Y = a + b XX----自变量Y----因变量或预测量a,b----回归系数根据已有的历史数据Xi Yi i = 1,2,3,...n ( n 为实际数据点数目)，求出回归系数 a , b为了简化计算，令 ( X1 + X2 + ... + Xn ) = 0，可以得出a , b 的计算公式如下：a = ( Y1 + Y2 +... + Yn ) / nb = ( X1 Y1 + X2 Y2 + ... + Xn Yn ) / ( X12 + X22 + ... + Xn2 )回归分析预测法的概念回归分析预测法，是在分析市场现象自变量和因变量之间相关关系的基础上，建立变量之间的回归方程，并将回归方程作为预测模型，根据自变量在预测期的数量变化来预测因变量关系大多表现为相关关系，因此，回归分析预测法是一种重要的市场预测方法，当我们在对市场现象未来发展状况和水平进行预测时，如果能将影响市场预测对象的主要因素找到，并且能够取得其数量资料，就可以采用回归分析预测法进行预测。

它是一种具体的、行之有效的、实用价值很高的常用市场预测方法。

回归分析预测法的分类回归分析预测法有多种类型。

依据相关关系中自变量的个数不同分类，可分为一元回归分析预测法和多元回归分析预测法。

在一元回归分析预测法中，自变量只有一个，而在多元回归分析预测法中，自变量有两个以上。

依据自变量和因变量之间的相关关系不同，可分为线性回归预测和非线性回归预测。

回归分析预测法的步骤1．根据预测目标，确定自变量和因变量明确预测的具体目标，也就确定了因变量。

如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。

线性回归计算公式
简介
线性回归是机器学习中常用的一种方法，用于建立输入变量 x 和输出变量 y 之
间的线性关系。

该方法通过拟合一个线性函数来预测连续型变量的值。

本文将介绍线性回归的计算公式及其相关概念。

线性回归模型
在线性回归模型中，我们假设因变量 y 与自变量 x 之间存在一个线性关系。

简
单线性回归模型可以表示为：
linear_regression_model
其中，y 是因变量，x 是自变量，β0 是截距，β1 是斜率。

最小二乘法
在线性回归中，我们使用最小二乘法来估计模型参数。

最小二乘法的目标是使
观测数据与模型预测值之间的误差平方和最小化。

误差函数可以表示为：
least_squares
我们需要找到使误差函数最小化的β0 和β1 的值。

计算公式
通过最小二乘法，我们可以得到β0 和β1 的计算公式。

β1 的计算公式
β1 的计算公式如下：
beta_1_formula
其中，n 是观测数据的数量，xi 和 yi 分别是第 i 个观测数据的自变量和因变量。

β0 的计算公式
β0 的计算公式如下：
beta_0_formula
总结
线性回归是一种常用的预测连续型变量的方法，通过拟合一个线性函数来建立自变量和因变量之间的关系。

最小二乘法被广泛应用于线性回归模型的参数估计。

本文介绍了线性回归的计算公式，其中包括β0 和β1 的计算公式。

理解线性回归的计算公式是学习和应用线性回归算法的基础，能够帮助我们更好地理解和分析数据。

一元线性回归方程式为：y=a+b x
b=n∑xy−∑x∑y n∑x2−(∑x)2
a=y̅−bx̅
其中a、b都是待定参数，可以用最小二乘法求得。

（最小平方法）b表示直线的斜率，又称为回归系数。

n表示所有数据的项数。

∑x表示所有x的求和
∑y表示所有y的求和
∑xy表示所有xy的求和
∑x2表示所有x2的求和
(∑x)2表示∑x的平方，即所有x的求和再求平方。

x̅表示所有x的平均数
y̅表示所有y的平均数
答题解法如下：
解：（答：）相关数据如下表：
根据公式b=n∑xy−∑x∑y
n∑x2−(∑x)2
得：
b=6∗1481−21∗426
6∗79−212=8886−8946
474−441
=−60
33
=-1.82
根据公式a=y̅−bx̅得：
a=71−(−1.82)∗3.5=71-(-6.37)=71+6.37=77.37
代入方程式y=a+b x得：
y=77.37+（-1.82）x=77.37-1.82 x
已知7月份产量为7000件，则x=7（千件），代入得：
y=77.37-1.82 x=77.37-1.82*7=77.37-12.74=64.63（元）
根据一元回归方程（最小乘法或最小平方法），当7月份产量为7000件时，其单位成本为64.63元。

一元线性回归模型及其应用一、一元线性回归模型与函数模型一元线性回归模型：我们称⎩⎨⎧Y ＝bx ＋a ＋e ，E e ＝0，D e ＝σ2为Y 关于x 的一元线性回归模型，其中，Y 称为因变量或响应变量，x 称为自变量或解释变量；a 和b 为模型的未知参数，a 称为截距参数，b 称为斜率参数；e 是Y 与bx ＋a 之间的随机误差．二、最小二乘法和经验回归方程最小二乘法：我们将y ^＝b ^x ＋a ^称为Y 关于x 的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线．这种求经验回归方程的方法叫做最小二乘法，求得的b ^，a ^叫做b ，a 的最小二乘估计，其中b ^＝∑i ＝1nx i －xy i －y∑i ＝1nx i －x2，a ^＝y －b ^x .(1)经验回归方程y ^＝b ^x ＋a ^必过点(x ，y )．(2)b ^的常用公式b ^＝∑i ＝1nx i y i －n x y∑i ＝1nx 2i －n x 2.三、利用经验回归方程进行预测(1)判断两个变量是否线性相关：可以利用经验，也可以画散点图． (2)求经验回归方程，注意运算的正确性．(3)根据经验回归方程进行预测估计：估计值不是实际值，两者会有一定的误差． 四、残差及残差分析1．残差：对于响应变量Y ，通过观测得到的数据称为观测值，通过经验回归方程得到的称为预测值，观测值减去预测值称为残差．2．残差分析：残差是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据的效果，以及判断原始数据中是否存在可疑数据等，这方面工作称为残差分析．五、对数函数模型y ＝c 1＋c 2ln x 对数函数模型y ＝c 1＋c 2ln x 的求法 (1)确定变量，作出散点图．(2)根据散点图，做出y ＝c 1＋c 2ln x 的函数选择．(3)变量置换，令z ＝ln x ，通过变量置换把问题转化为＝1＋2z 的经验回归问题，并求出经验回归方程＝1＋2z .(4)根据相应的变换，写出＝1＋2ln x 的经验回归方程． 六、残差平方和与决定系数R 2 1．残差平方和法残差平方和 i ＝1n(y i －i )2越小，模型的拟合效果越好．2．决定系数R 2可以用R 2＝1－来比较两个模型的拟合效果，R 2越大，模型拟合效果越好，R 2越小，模型拟合效果越差．七、指数函数模型y＝αeβx(α＞0)指数函数型y＝e bx＋a回归问题的处理方法(1)函数y＝e bx＋a的图象，如图所示．(2)处理方法：两边取对数得ln y＝ln e bx＋a，即ln y＝bx＋a.令z＝ln y，把原始数据(x，y)转化为(x，z)，再根据线性回归模型的方法求出a，b.八、幂函数模型y＝αxβ(α＞0)考点一样本中心解小题【例1】(2021·江西赣州市)某产品在某零售摊位上的零售价x(元)与每天的销售量y(个)统计如下表：x16171819y50m3431据上表可得回归直线方程为 6.4151=-+，则上表中的m的值为( )y xA．38B．39C．40D．41【练1】(2021·广西钦州市)据统计，某产品的市场销售量y(万台)与广告费用投入x(万元)之间的对应数据的散点图如图所示，由图可知y与x之间有较强的线性相关关系，其线性同归方程是0.3=+，则a的值是( )y x aA．2.5B．3C．3.5D．4考点二一元线性方程【例2】(2021·兴义市第二高级中学)在2010年春节期间，某市物价部门，对本市五个商场销售的某商品一天的销售量及其价格进行调查，五个商场的售价x元和销售量y件之间的一组数据如下表所示：价格x99.51010.511销售量y 11 10 8 6 5通过分析，发现销售量y 对商品的价格x 具有线性相关关系，求 (1)销售量y 对商品的价格x 的回归直线方程； (2)若使销售量为12，则价格应定为多少.附：在回归直线ˆˆy bxa =+中1221ˆni ii nii x y nxyb xnx ==-=-∑∑，ˆˆay bx =-【练2】(2021·福建福州市·高二期末)为了研究某班男生身高和体重的关系，从该班男生中随机选取6名，得到他们的身高和体重的数据如下表所示： 编号 1 2 3 4 5 6 身高()cm x 165 171 167 173 179 171 体重()kg y62m64747466在收集数据时，2号男生的体重数值因字迹模糊看不清，故利用其余5位男生的数话得到身高与体重的线性回归方程为11y b x a =+.后来得到2号男生的体重精准数值m 后再次计算得到线性回归方程为22y b x a =+. (1)求回归方程11y b x a =+；(2)若分别按照11y b x a =+和22y b x a =+来预测身高为180cm 的男生的体重，得到的估计值分别为1w ，2w ，且212w w -=，求m 的值；(3)BMI 指数是目前国际上常用的衡量人体胖瘦程度以及是否健康的一个标准，其中BMI 指数在24到27.9之间的定义为超重.通过计算可知这6人的BMI 指数分别为：22.8，27.4，22.9，24.7，23.1，22.6，现从这6人中任选2人，求恰有1人体重为超重的概率.附：回归直线的斜率和截距的最小二乘估计公式分别为：()()()121niii nii x x y y b x x ==--=-∑∑，a y bx =-.考点三 非一元线性方程【例3】(2020·全国高二课时练习)在一次抽样调查中测得5个样本点，得到下表及散点图．x0.250.512 4y1612 521(1)根据散点图判断y a bx =+与1y c k x -=+⋅哪一个适宜作为y 关于x 的回归方程；(给出判断即可，不必说明理由)(2)根据(1)的判断结果试建立y 与x 的回归方程；(计算结果保留整数) (3)在(2)的条件下，设=+z y x 且[)4,x ∈+∞，试求z 的最小值．参考公式：回归方程ˆˆˆybx a =+中，()()()1122211ˆn niii ii i nniii i x x y y x y nx yb x x xnx====---==--∑∑∑∑，a y bx =-.【练3】(2020·全国高三专题练习)某地级市共有200 000名中小学生，其中有7%的学生在2017年享受了“国家精准扶贫”政策，在享受“国家精准扶贫”政策的学生中困难程度分为三个等次：一般困难、很困难、特别困难，且人数之比为5∶3∶2，为进一步帮助这些学生，当地市政府设立“专项教育基金”，对这三个等次的困难学生每年每人分别补助1 000元、1 500元、2 000元．经济学家调查发现，当地人均可支配收入较上一年每增加n %，一般困难的学生中有3n %会脱贫，脱贫后将不再享受“国家精准扶贫”政策，很困难的学生中有2n %转为一般困难，特别困难的学生中有n %转为很困难．现统计了该地级市2013年到2017年共5年的人均可支配收入，对数据初步处理后得到了如图所示的散点图和表中统计量的值，其中年份x 取13时代表2013年，x 与y (万元)近似满足关系式y ＝212C xC ⋅，其中C 1，C 2为常数(2013年至2019年该市中学生人数大致保持不变)．yk521()ii kk =-∑521()ii yy =-∑51()()iii x x y y =--∑ 51()()iii x x kk =--∑2.3 1.23.14.6 2 1其中5211log ,5===∑i i i i k y k k(1)估计该市2018年人均可支配收入；(2)求该市2018年的“专项教育基金”的财政预算大约为多少？附：①对于一组具有线性相关关系的数据(u 1，v 1)，(u 2，v 2)，…，(u n ，v n )，其回归直线方程y a βμ=+的斜率和截距的最小二乘估计分别为121()()ˆ,()βαβ==--==--∑∑niii nii u u v v v u u ②2－0.7 2－0.3 20.1 21.7 21.8 21.9 0.6 0.81.1 3.2 3.5 3.73课后练习1.（2021高三上·天河月考）下列表述中，正确的个数是（）①将一组数据中的每一个数据都加上同一个常数后，方差不变；②设有一个回归方程ŷ=3−5x，变量x增加1个单位时，y平均增加5个单位；③设具有相关关系的两个变量x，y的相关系数为r，那么|r|越接近于0，x，y之间的线性相关程度越高；④在一个2×2列联表中，根据表中数据计算得到K2的观测值k，若k 的值越大，则认为两个变量间有关的把握就越大．A. 0B. 1C. 2D. 32.（2021·菏泽模拟）下列说法错误的是（）A. 用相关指数R2来刻画回归效果，R2越小说明拟合效果越好B. 已知随机变量X~N(5,σ2)，若P(x<1)=0.1，则P(x≤9)=0.9C. 某人每次投篮的命中率为3，现投篮5次，设投中次数为随机变量5Y．则E(2Y+1)=7D. 对于独立性检验，随机变量K2的观测值k值越小，判定“两分类变量有关系”犯错误的概率越大3.（2021高三上·顺德月考）“绿水青山就是金山银山”，某城市发起了“减少碳排放行动”，通过增加植树面积，逐步实现碳中和，为调查民众对减碳行动的参与情况，在某社区随机调查了90位市民，每位市民对减碳行动给出认可或不认可的评价，得到如图所示的列联表､经计算K2的观测值k=9，则可以推断出（）认可不认可40岁以下20 2040岁以上(含40岁) 40 10附：P(K2≥k0)0.010 0.005 0.001k0 6.635 7.879 10.828A. 该社区居民中约有99%的人认可“减碳行动”B. 该社区居民中约有99.5%的人认可“减碳行动C. 在犯错率不超过0.005的前提下，认为“减碳行动"的认可情况与年龄有关D. 在犯错率不超过0.001的前提下，认为“减碳行动"的认可情况与年龄有关精讲答案【例1】【答案】D 【解析】由题意1617181917.54x +++==，50343111544m m y ++++==， 所以115 6.417.51514m +=-⨯+，解得41m =．故选：D ． 【练1】【答案】A 【解析】由题可知：24568344455,455x y ++++++++==== 将,x y 代入线性回归方程可得：40.35 2.5a a =⨯+⇒=故选：A【例2】【答案】(1) 3.240y x =-+ (2) 8.75【解析】(1)由题意知10x =，8y =， ∴99958063555108 3.28190.25100110.25121ˆ5100b ++++-⨯⨯==-++++-⨯，8( 3.2)1040a =--⨯=， ∴线性回归方程是 3.240y x =-+；(2)令 3.24012y x =-+=，可得8.75x =，∴预测销售量为12件时的售价是8.75元．【练2】【答案】(1)1413741515y x =-；(2)80m =；(3)815【解析】(1)()11651671731791711715x =⨯++++=， ()16264747466685y =⨯++++=， 所以()()1536161248112i ii x xy y =--=+++=∑，()2153616464120i i x x =-=+++=∑， 所以()()()1121551121412015i ii ii x x y y x x b ==--===-∑∑，11141374681711515a yb x =-=-⨯=-， 所以1413741515y x =-. (2)根据题意，将180x =代入方程1413741515y x =-得1114615w =， 所以2111461176221515w w =+=+=， 所以221176ˆˆ18015b a =⨯+， ① 另一方面，6名男生的身高的平均值为'171x =，体重的平均值为340'6m y +=， 所以22340ˆˆ1716m b a +=⨯+， ② ()()1636161248112i i i x x y y =--=+++=∑，()2163616464120ii x x =-=+++=∑， 所以()()()21626114ˆ15i i i i i x x y y b x x ===-=--∑∑， ③ 综合①②③即可得：21344ˆ15a =-，80m =. (3)设这6人分别记为,,,,,A B C D E F ，其中,B D 表示体重超标的两人，则从这6人中任选2人，所有的可能情况为：,,,,,,,,,,,,,,AB AC AD AE AF BC BD BE BF CD CE CF DE DF EF ，共15种，其中恰有1人体重为超重有：,,,,,,,AB AD BC BE BF CD DE DF ，共8种， 所以恰有1人体重为超重的概率为：815P =. 【例3】【答案】(1)1y c k x -=+⋅；(2)41y x=+；(3)6. 【解析】(1)由题中散点图可以判断，1y c k x -=+⋅适宜作为y 关于x 的回归方程；(2)令1t x -=，则y c kt =+，原数据变为 t 42 1 0.5 0.25 y 16 12 5 2 1由表可知y 与t 近似具有线性相关关系，计算得4210.50.25 1.555t ++++==， 16125217.25y ++++==， 222222416212150.520.2515 1.557.238.4544210.50.255 1.559.3k ⨯+⨯+⨯+⨯+⨯-⨯⨯==≈++++-⨯， 所以，7.24 1.551c y kt =-=-⨯=，则41y t =+．所以y 关于x 的回归方程是41y x=+． (3)由(2)得41z y x x x=+=++，[)4,x ∈+∞， 任取1x 、24x ≥，且12x x >，即124x x >≥， 可得()()()21121212121212124444411x x z z x x x x x x x x x x x x -⎛⎫⎛⎫⎛⎫-=++-++=-+-=-+ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭()()1212124x x x x x x --=，因为124x x >≥，则120x x ->，1216>x x ，所以，12z z >，所以，函数41z x x =++在区间[)4,+∞上单调递增，则min 44164z =++=. 【练3】 【答案】(1)2.8万元；(2)1 624万元.【解析】(1)因为x ＝15×(13＋14＋15＋16＋17)＝15，所以521()i i x x =-∑＝(－2)2＋(－1)2＋02＋12＋22＝10.由k ＝2log y 得k ＝log 2C 1＋C 2x ， 所以1221()()1,10()n ii i nii x x k k C x x ==--==-∑∑ 2log C 1＝k －C 2x ＝1.2－110×15＝－0.3， 所以C 1＝2－0.3＝0.8，所以y ＝100.82x ⨯.当x ＝18时，y ＝0.8×21.8＝0.8×3.5＝2.8(万元)．即该市2018年人均可支配收入为2.8万元．(2)由题意知2017年时该市享受“国家精准扶贫”政策的学生有200000×7%＝14000人，一般困难、很困难、特别困难的中学生依次有7000人、4200人、2800人，2018年人均可支配收入比2017年增长1.8 1.71.70.820.820.82⨯-⨯⨯＝20.1－1＝0.1＝10%， 所以2018年该市特别困难的中学生有2800×(1－10%)＝2520人．很困难的学生有4200×(1－20%)＋2800×10%＝3640人，一般困难的学生有7000×(1 －30%)＋4200×20%＝5740人．所以2018年的“专项教育基金”的财政预算大约为5740×1000＋3640×1500＋2520×2000＝16240000(元)＝1624(万元)．练习答案1.【答案】 C【考点】极差、方差与标准差，变量间的相关关系，独立性检验的基本思想，回归分析的初步应用，相关系数【解析】①将一组数据中的每一个数据都加上同一个常数C后D(X+C)= D(X)，方差不变，正确；②设有一个回归方程ŷ=3−5x，变量x增加1个单位时，y平均减少5个单位，错误；③设具有相关关系的两个变量x，y的相关系数为r，那么|r|越接近于1，x，y之间的线性相关程度越高，错误；④在一个2×2列联表中，根据表中数据计算得到K2的观测值k，若k 的值越大，两个变量有关系的出错概率越小，则认为两个变量间有关的把握就越大，正确．故答案为：C【分析】利用已知条件结合方差的性质，得出将一组数据中的每一个数据都加上同一个常数C后D(X+C)=D(X)，方差不变；再利用已知条件结合回归方程的应用得出一个回归方程ŷ=3−5x，变量x增加1个单位时，y平均减少5个单位；利用已知条件结合相关系数与x，y之间的线性相关程度判断的关系得出具有相关关系的两个变量x，y的相关系数为r，那么|r|越接近于1，x，y之间的线性相关程度越高；利用已知条件结合K2的观测值k的值越大，两个变量有关系的出错概率越小，则认为两个变量间有关的把握就越大，从而找出正确的个数。

线性回归最小二乘法公式线性回归是一种广泛应用于统计学和机器学习中的回归分析方法，旨在通过拟合一个线性方程来预测因变量与自变量之间的关系。

最小二乘法是一种最常用的线性回归方法，它寻找一条直线，使所有数据点到这条直线的距离之和最小。

假设有n个数据点，表示为(x1, y1), (x2, y2), ..., (xn, yn)，其中x为自变量，y为因变量。

线性回归的目标是找到一条直线y = mx + b，使得所有数据点到该直线的距离之和最小。

最小二乘法的基本思想是，通过对每个数据点的误差的平方求和，来定义一个损失函数，然后通过最小化这个损失函数来确定最优的拟合直线。

步骤如下：1. 建立线性模型：y = mx + b，其中m为斜率，b为截距。

2. 用该模型预测因变量y的值：y_hat = mx + b。

3. 计算每个数据点的误差：e = y - y_hat。

4.将所有数据点的误差的平方求和，得到损失函数：L=Σe^25.最小化损失函数：通过对m和b的偏导数求零，得到以下两个式子：∂L/∂m = -2Σx(y - (mx + b)) = 0∂L/∂b = -2Σ(y - (mx + b)) = 06.解以上两个方程，得到最优的斜率m和截距b：m = (nΣxy - ΣxΣy) / (nΣx^2 - (Σx)^2)b=(Σy-mΣx)/n7. 使用得到的最优斜率m和截距b，构建出最优的线性模型：y =mx + b。

最小二乘法可以通过解析解或者数值方法求解。

解析解适用于数据量较小的情况，它通过直接求解最优化的数学公式来得到结果。

而数值方法适用于数据量较大，无法直接求解的情况，通过迭代方法逐步逼近最优解。

最小二乘法有几个关键的假设：1.线性关系假设：认为自变量x和因变量y之间存在线性关系。

2.去噪假设：数据点的误差e服从均值为0的正态分布，即误差项是一个很小的随机值。

3.独立性假设：各个数据点之间是相互独立的，彼此之间没有相关性。