Poisson 回归参数最大似然估计的计算
1 Possion 回归模型的定义
假设因变量Y 是一个服从Poission 分布的随机变量，12,,,q x x x 是影响Y 的k 个因素，12[1,,,,]T q X x x x =是协变量向量，01[,,,]T q βββ=β是回归参数向量，则Y 关于x 的k 元Poission 回归模型定义为
()
{}exp(()),0,1,2,.!k X P Y k X X k k λλ==-= (1)
其中()exp()0.T X X λ=>β
2 参数估计
我们用最大似然估计方法去求模型的参数。
假设从总体(,)Y X 中抽取一个容量为n 的随机样本1122(,),(,),
,(,)n n y X y X y X ，其中12[1,,,,],1,2,
,T k k k kq X x x x k n ==，则有似然函数为 11
exp ()(){}exp(exp())!k y T n n T k k k k k k k X L P Y y X X y =====-∏∏βββ (2) 两边取对数，整理可得
1ln ()exp()ln(!)n
T T k k k k k L y X X y =??=--??∑βββ (3)
为研究方便，以下不妨记01k x =。为求式(3)的最大值点，即最大似然估计，可求对数似然函数ln ()L β关于β的似然方程组为
1
l n ()[e x p ()]n T k k i k i k k i L y x x X β=?=-?∑ββ，0,1,,.i q = (4)
具体形式为 1011111ln ()[exp()]0ln ()[exp()]0ln ()[exp()]0n T k k k n T k k k k k n T k kq kq k k k L y X L y x x X L y x x X βββ===??=-=?????=-=?
??????=-=???
∑∑∑ββββββ (5) 式(5) 为非线性方程组，一般情况下没有解析解，可以用Newton-Raphson 迭代方法求其数值解，令
11111[exp()][exp()]()[exp()]n T k k k n T k k k k k n T k kq kq k k y X y x x X F y x x X ===??-??????-??=??????
??-????
∑∑∑ββββ (6) 则()F β关于β的Jacobian 矩阵为
21ln ()()exp(),0,1,,,0,1,,.n T ki kj k i j L J x x X i q j q βββ=?==-==??∑ββ (7)
具体形式为
1111211111121111exp()exp()exp()exp()exp()exp()()exp()exp()exp()n n n T T T k k k kq k k k k n n n T T T k k k k k kq k k k k n n n T T T kq k kq k k kq k k k k X x X x X x X x X x x X J x X x x X x X =========??---??????---??=????????---???∑∑∑∑∑∑∑∑∑ββββββββββ? (7)
对应的向量形式为
1()exp()n
T T k k k
k J X X X ==-∑ββ (7’) 根据Newton-Raphson 方法的原理，可得参数β迭代公式为
1(1)()()()()(),0,1,2,.m m m m J F m -+??=-=??ββββ (8)
算法如下：
Step 1: 给定参数β的初值参数(0)β和误差容许精度ε，令0m =；
Step 2：计算1(1)()()()()(),0,1,2,.m m m m J F m -+??=-=??ββββ；
Step 3: 若()()m F ε<β，即满足容许的精度，则结束，否则更新参数()(1)m m +=ββ，
1m m =+，转至Step2.
function F = PoissionRegressopt(b,Y,X)
n = length(Y);
F = 0;
for k = 1:n
F = F + Y(k)*X(k,:)*b - exp(X(k,:)*b);% - factorial(Y(k)); end
F = - F;
function F = PoissionF(b,Y,X)
n = length(Y);
F = zeros(size(b));
for k = 1:n
F = F + Y(k)*X(k,:)'- exp(X(k,:)*b)*X(k,:)';
end
function JM = PoissionJM(b,Y,X)
n = length(Y);
JM = zeros(size(b,1));
for k = 1:n
JM = JM + exp(X(k,:)*b)*X(k,:)'*X(k,:);
end
function [ bm fv1,fv2] = PoissionNR(bm0,Y,X)
itermax = 30;
errstol = 1e-4;
iters = 0;
deltabm = ones(size(bm0));
bm1 = bm0 + deltabm;
while (iters
deltabm = pinv(PoissionJM(bm0,Y,X))*PoissionF(bm0,Y,X); bm1 = bm0 + deltabm;
bm0 = bm1; iters = iters +1;
end
bm = bm0;
fv1 = PoissionF(bm,Y,X);
fv2 = PoissionRegressopt(bm,Y,X);
附录1:
>> b =glmfit(X0,Y,'poisson', 'log')
b =
1.5043
0.4518
0.3578
0.2388
可以看到，结果一致。
比文献【1】中的结果要好一点
参考文献
【1】茆诗松主编. 统计手册[M]. 北京: 科学出版社，2003:1004-1007.
1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：
参数估计习题参考答案 班级： 姓名： 学号： 得分 一、单项选择题： 1. 区间估计表明的是一个 ( B ) （A ）绝对可靠的范围 （B ）可能的范围 （C ）绝对不可靠的范围 （D ）不可能的范围 2. 甲乙是两个无偏估计量，如果甲估计量的方差小于乙估计量的方差，则称 （ D ） （A ）甲是充分估计量 （B ）甲乙一样有效 （C ）乙比甲有效 （D ）甲比乙有效 3. 设总体服从正态分布，方差未知，在样本容量和置信度保持不变的情形下，根据不同的样本值得到总体均值的置信区间长度将 （ D ） （A ）增加 （B ）不变 （C ）减少 （D ）以上都对 4.设容量为16人的简单随机样本，平均完成工作时间13分钟，总体服从正态分布且标准差为3分钟。若想对完成工作所需时间构造一个90%置信区间，则 （ A ） A.应用标准正态概率表查出z 值 B.应用t-分布表查出t 值 C.应用二项分布表查出p 值 D.应用泊松分布表查出λ值 5． 100(1-α)%是 （ C ） A.置信限 B.置信区间 C.置信度 D.可靠因素 6．参数估计的类型有 （ D ） （A ）点估计和无偏估计（B ）无偏估计和区间估计 （C ）点估计和有效估计（D ）点估计和区间估计 7．在其他条件不变的情况下，提高抽样估计的可靠程度，其精度将 （C ） （A ）增加 （B ）不变 （C ）减少 （D ）以上都对 二、计算分析题 1、12,, ,n X X X 是总体为2 (, ) N μσ的简单随机样本.记1 1n i i X X n ==∑，2 21 1()1n i i S X X n ==--∑，221T X S n =-.请证明 T 是2 μ的无偏估计量. 解 (I) 因为2 (,)X N μσ，所以2 (, )X N n σμ，从而2 ,E X DX n σμ= = ． 因为 221()()E T E X S n =-221 ()E X E S n =- 221()()DX E X E S n =+-222211 n n σμσμ=+-= 所以，T 是2μ的无偏估计 设总体X ~N （μ，σ 2 ），X 1，X 1，…，X n 是来自X 的一个样本。试确定常数c 使2 1 1 21 )(σX X c n i i i 为∑-=+-的无偏估计。 解：由于
多元线性回归分析预测法 (重定向自多元线性回归预测法) 多元线性回归分析预测法（Multi factor line regression method，多元线性回归分析法） [编辑] 多元线性回归分析预测法概述 在市场的经济活动中，经常会遇到某一市场现象的发展和变化取决于几个影响因素的情况，也就是一个因变量和几个自变量有依存关系的情况。而且有时几个影响因素主次难以区分，或者有的因素虽属次要，但也不能略去其作用。例如，某一商品的销售量既与人口的增长变化有关，也与商品价格变化有关。这时采用一元回归分析预测法进行预测是难以奏效的，需要采用多元回归分析预测法。 多元回归分析预测法，是指通过对两上或两个以上的自变量与一个因变量的相关分析，建立预测模型进行预测的方法。当自变量与因变量之间存在线性关系时，称为多元线性回归分析。 [编辑] 多元线性回归的计算模型[1] 一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释
因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。 设y为因变量，为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为： 其中，b0为常数项，为回归系数，b1为固定时，x1每增加一 个单位对y的效应，即x1对y的偏回归系数；同理b2为固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： 其中，b0为常数项，为回归系数，b1为固定时，x2每增加一 个单位对y的效应，即x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为： y = b0 + b1x1 + b2x2 + e 建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是： (1)自变量对因变量必须有显著的影响，并呈密切的线性相关； (2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的； (3)自变量之彰应具有一定的互斥性，即自变量之彰的相关程度不应高于自变量与因变量之因的相关程度； (4)自变量应具有完整的统计数据，其预测值容易确定。 多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和()为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为 解此方程可求得b0,b1,b2的数值。亦可用下列矩阵法求得
25. 非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。 对变量间非线性相关问题的曲线拟合，处理的方法主要有： （1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决； （2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线； （3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。 （一）可变换为线性的非线性回归
在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。 例1 有实验数据如下： 试分别采用指数回归（y =ae bx）方法进行回归分析。 代码： data exam25_1; input x y; cards; 1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22 ; run; proc sgplot data = exam25_1; scatter x = x y = y; run; proc corr data = exam25_1; var x y; run;
data new1; set exam25_1; v = log(y); run; proc sgplot data = new1; scatter x = x y = v; title'变量代换后数据'; run; proc reg data = new1; var x v; model v = x; print cli; title'残差图'; plot residual. * predicted.; run; data new2; set exam25_1; y1 = 14530.28*exp(-4.73895*x); run; proc gplot data = new2; plot y*x=1 y1*x=2 /overlay; symbol v=dot i=none cv=red; symbol2i=sm color=blue; title'指数回归图'; 运行结果：
多元线性回归统计预测模型 摘要:本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线性回归模型并对未知量作出预测,为相关决策提供依据和参考。重点介绍了模型中参数的估计和自变量的优化选择及简单应用举例。 关键词：统计学;线性回归;预测模型 一．引言 多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量Ｙ与两个或两个以上一般变量X 1,X ２，…,Xp 之间相依关系,利用现有数据,统计并分析，研究问题的变化规律，建立多元线性回归的统计预测模型,来预测未来的变化情况。它不仅能解决一些随机的数学问题,而且还可以通过建立适当的随机模型进而解决一些确定的数学问题,为相关决策提供依据和参考。 目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在各门学科上,从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。而多元线性回归是多元统计分析中的一个重要方法,被应用于众多自然科学领域的研究中。多元线性回归分析作为一种较为科学的方法,可以在获得影响因素的前提下，将定性问题定量化，确定各因素对主体问题的具体影响程度。 二.多元线性回归的基本理论 多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的研究中。多元线性回归分析的基本任务包括:根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有显著线性影响的自变量，建立最优多元线性回归方程;评定各个自变量对因变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问题都可以化为多元线性回归问题,所以这里仅讨论多元线性回归。许多非线性回归和多项式回归都可以化为多元线性回归来解决,因而多元线性回归分析有着广泛的应用。 2.1 多元线性回归模型的一般形式 设随机变量y 与一般变量12,, ,p x x x 线性回归模型为 01122...p p y x x x ββββε=+++++ （2.1） 模型中Ｙ为被解释变量(因变量）,而12,,,p x x x 是p 个可以精确测量并可控制的一般变 量，称为解释变量（自变量）。p ＝1时，(２.1)式即为一元线性回归模型，p 大于2时，(2.1)
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
参数估计习题参考答案
参数估计习题参考答案 班级：姓名：学号：得分 一、单项选择题： 1、关于样本平均数和总体平均数的说法，下列正确的是( B ) （A）前者是一个确定值，后者是随机变量（B）前者是随机变量，后者是一个确定值 （C）两者都是随机变量（D）两者都是确定值 2、通常所说的大样本是指样本容量（ A ） （A）大于等于30 （B）小于30 （C）大于等于10 （D）小于10 3、从服从正态分布的无限总体中分别抽取容量为4，16，36的样本，当样本容量增大时，样本均值的标准差将（ B ） （A）增加（B）减小（C）不变（D）无法确定 4、某班级学生的年龄是右偏的，均值为20岁，标准差
为 4.45.如果采用重复抽样的方法从该班抽取容量为100的样本，那么样本均值的分布为（ A ） （A）均值为20，标准差为0.445的正态分布（B）均值为20，标准差为4.45的正态分布 （C）均值为20，标准差为0.445的右偏分布（D）均值为20，标准差为4.45的右偏分布 5. 区间估计表明的是一个( B ) （A）绝对可靠的范围（B）可能的范围（C）绝对不可靠的范围（D）不可能的范围 6. 在其他条件不变的情形下，未知参数的1-α置信区间，（ A ） A. α越大长度越小 B. α越大长度越大 C. α越小长度越小 D. α与长度没有关系 7. 甲乙是两个无偏估计量，如果甲估计量的方差小于乙估计量的方差，则称（ D ） （A）甲是充分估计量（B）甲乙一样有效（C）乙比甲有效（D）甲比乙有效 8. 设总体服从正态分布，方差未知，在样本容量和置信度保持不变的情形下，根据不同的样本值得到总体均
非线性回归分析常见曲 线及方程 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
非线性回归分析 回归分析中，当研究的因果关系只涉及和一个时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0
9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha）2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显着性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 关于t的回归方程2 ?ct =. + bt a s+ 解： 1. 对将要拟合的非线性模型y=a/e b x，建立M文件如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x); 2．输入数据： x=2:16; y=[ 10 ];
多元性回归模型与一元线性回归模型一样，在得到参数的最小二乘法的估计值之后，也需要进行必要的检验与评价，以决定模型是否可以应用。 1、拟合程度的测定。 与一元线性回归中可决系数r2相对应，多元线性回归中也有多重可决系数r2，它是在因变量的总变化中，由回归方程解释的变动(回归平方和)所占的比重，R2越大，回归方各对样本数据点拟合的程度越强，所有自变量与因变量的关系越密切。计算公式为： 其中， 2.估计标准误差 估计标准误差，即因变量y的实际值与回归方程求出的估计值之间的标准误差，估计标准误差越小，回归方程拟合程度越程。 其中，k为多元线性回归方程中的自变量的个数。 3.回归方程的显著性检验 回归方程的显著性检验，即检验整个回归方程的显著性，或者说评价所有自变量与因变量的线性关系是否密切。能常采用F检验，F统计量的计算公式为： 根据给定的显著水平a,自由度(k,n-k-1)查F分布表，得到相应的临界值Fa，若F > Fa，则回归方程具有显著意义，回归效果显著；F < Fa，则回归方程无显著意义，回归效果不显著。 4.回归系数的显著性检验 在一元线性回归中，回归系数显著性检验(t检验)与回归方程的显著性检验(F检验)是等价的，但在多元线性回归中，这个等价不成立。t检验是分别检验回归模型中各个回归系数是否具有显著性，以便使模型中只保留那些对因变量有显著影响的因素。检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表，得临界值ta或ta / 2,t > t ? a或ta / 2，则回归系数bi与0有显著关异，反之，则与0无显著差异。统计量t 的计算公式为： 其中，Cij是多元线性回归方程中求解回归系数矩阵的逆矩阵(x'x) ?1的主对角线上的第j个元素。对二元线性回归而言，可用下列公式计算： 其中， 5.多重共线性判别 若某个回归系数的t检验通不过，可能是这个系数相对应的自变量对因变量的影平不显
matlab建立多元线性回归模型并进行显着性检验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回归模型y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 %？ % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显着 % fV：F分布值，越大越好，线性回归方程越显着 % fH：0或1，0不显着；1显着(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显着线性关系 % tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显着的线性作用% tH：0或1，0不显着；1显着 % tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显着的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明 % 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10; % x2=rand(10,1)*10; % Y=5+8*log(x1)+*exp(x2)+*x1.*x2+rand(10,1); % 以上随即生成一组测试数据 % X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了
非线性回归分析(转载) (2009-10-23 08:40:20) 转载 分类：Web分析 标签： 杂谈 在回归分析中，当自变量和因变量间的关系不能简单地表示为线性方程，或者不能表示为可化为线性方程的时侯，可采用非线性估计来建立回归模型。 SPSS提供了非线性回归“Nonlinear”过程，下面就以实例来介绍非线性拟合“Nonlinear”过程的基本步骤和使用方法。 应用实例 研究了南美斑潜蝇幼虫在不同温度条件下的发育速率，得到试验数据如下： 表5-1 南美斑潜蝇幼虫在不同温度条件下的发育速率 温度℃17.5 20 22.5 25 27.5 30 35 发育速率0.0638 0.0826 0.1100 0.1327 0.1667 0.1859 0.1572 根据以上数据拟合逻辑斯蒂模型： 本例子数据保存在DATA6-4.SAV。 1）准备分析数据 在SPSS数据编辑窗口建立变量“t”和“v”两个变量，把表6-14中的数据分别输入“温度”和“发育速率”对应的变量中。 或者打开已经存在的数据文件（DATA6-4.SAV）。 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Nonlinear”项，将打开如图5-1
所示的线回归对话窗口。 图5-1 Nonlinear非线性回归对话窗口 3) 设置分析变量 设置因变量：从左侧的变量列表框中选择一个因变量进入“Dependent(s)”框。本例子选“发育速率[v]”变量为因变量。 4) 设置参数变量和初始值 单击“Parameters”按钮，将打开如图6-14所示的对话框。该对话框用于设置参数的初始值。 图5-2 设置参数初始值
第21讲 参数估计习题课 教学目的：1. 通过练习使学生进一步掌握矩估计和最大似然估计的计算方法； 2. 通过练习使学生理解无偏性和有效性对于评价估计量标准的重要性； 3. 通过练习使学生进一步掌握正态总体参数的区间估计和单侧置信限。 教学重点：矩估计和最大似然估计，无偏性与有效性，正态总体参数的区间估计。 教学难点：矩估计，最大似然估计，正态总体参数的区间估计。 教学时数：2学时。 教学过程： 一、知识要点回顾 1. 矩估计 用各阶样本原点矩n k i i 11x n k V ==∑ 作为各阶总体原点矩k EX 的估计,1,2,k =L 。若有参 数2g(,(),,)k E X E X E X θ=L （）（），则参数θ的矩估计为 n n n 2i=1i=1i=1 111?(,,,)k i i i X X X n n n θ=∑∑∑L 。 2. 最大似然估计 似然函数1()(;)n i i L f x θθ==∏，取对数ln[()]L θ，从 ln() d d θθ =0中解得θ的最大似然估计θ ?。 3. 无偏性,有效性 当θθ=?E 时，称θ?为θ的无偏估计。 当21?D ?D θθ<时，称估计量1?θ比2 ?θ有效。 二 、典型例题解析 1．设,0()0, 0x e x f x x θθ-?>=?≤?，求θ的矩估计。 解 ,0 dx xe EX x ?+∞ -=θθ设du dx u x x u θ θ θ1 ,1 ,= = = 则0 0011 1()0()u u u EX ue du ue e du e θθθθ+∞+∞--+∞ --+∞????==-+=+-??? ?????=θ 1
第三章 多元线性回归分析 主要内容： ? 多元线性回归模型 ? 多元线性回归模型的参数估计 ? 多元线性回归模型的统计检验 ? 多元线性回归模型的预测 ? 案例 3.1 多元线性回归模型 一、多元线性回归模型 多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式： i ki k i i i u X X X Y +++++=ββββ 22110 i=1，2，…，n 其中:k 为解释变量的数目，j β称为回归参数（regression coefficient ）。 ki k i i ki i i i X X X X X X Y E ββββ+???+++=2211021),,|( 经济解释：j β也被称为偏回归系数，表示在其他解释变量保持不变的情况下，j X 每变化1个单位时， Y 的均值E(Y)的变化; 或者说j β给出了j X 的单位变化对Y 均值的“直接”或“净”（不含其他变量）影响。 样本回归函数：用来估计总体回归函数 i =1,2…,n 其随机表示式: i e 称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i u 的近似替代。 i ki ki i i i e X X X Y +++++=ββββ????22110 ki ki i i i X X X Y ββββ?????22110++++=
§3.2 多元线性回归模型的估计 一、普通最小二乘估计 对于随机抽取的n 组观测值 对样本回归函数： i=1,2…n 根据最小二乘原理，参数估计值应该是下列方程组的解 ∑∑∑===+???+++-=-==???????? ?????????=?? =?? =?? =?? n i ki k i i i n i n i i i i k X X X Y Y Y e Q Q Q Q Q 1 2 2211011 22 210))????(()?(0?0?0?0?ββββββββ其中 即 Y X X X '='β?)( 由于X X '满秩，故有 Y X X X ''=-1)(?β 随机误差项μ的方差σ的无偏估计 可以证明，随机误差项u 的方差的无偏估计量为 二、参数估计量的性质 在满足基本假设的情况下，其结构参数β的普通最小二乘估计、最大或然估计及矩估计仍具有：线性性、无偏性、有效性。 1、 线性 CY Y X X X =''=-1)(?β 其中,C =X X X ''-1 )( 为一仅与固定的X 有关的行向量 2、无偏性 3、有效性（最小方差性） 参数估计量β ?的方差-协方差矩阵 β μX X X βμX βX X X Y X X X β 11=''+=+''=''=---)()())()(())(()?(1E E E E 11 ?2 2 --'= --=∑k n k n e i e e σ Ki ki i i i X X X Y ββββ?????22110++++= k j n i X Y ji i ,2,1,0,,,2,1),,(==
matlab建立多元线性回归模型并进行显著性检 验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项 Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回 归模型 y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 % % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显著 % fV：F分布值，越大越好，线性回归方程 越显著 % fH：0或1，0不显著；1显著(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是 否与Y有显著线性关系 % tV：T分布值，beta_hat(i)绝对值越大, 表示Xi对Y显著的线性作用 % tH：0或1，0不显著；1显著 % tW：区间估计拒绝域，如果beta(i)在对 应拒绝区间内，那么否认Xi对Y显著的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总 离差的百分比，越大越好 % 举例说明 % 比如要拟合 y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程 线化 % x1=rand(10,1)*10;
实验六用SPSS进行非线性回归分析 例：通过对比12个同类企业的月产量(万台)与单位成本(元)的资料(如图1)，试配合适当的回归模型分析月产量与单位成本之间的关系 图1原始数据和散点图分析 一、散点图分析和初始模型选择 在SPSS数据窗口中输入数据，然后插入散点图(选择Graphs→Scatter命令)，由散点图可以看出，该数据配合线性模型、指数模型、对数模型和幂函数模型都比较合适。进一步进行曲线估计：从Statistic下选Regression菜单中的Curve Estimation命令；选因变量单位成本到Dependent框中，自变量月产量到Independent框中，在Models框中选择Linear、Logarithmic、Power和Exponential四个复选框，确定后输出分析结果，见表1。 分析各模型的R平方，选择指数模型较好，其初始模型为 但考虑到在线性变换过程可能会使原模型失去残差平方和最小的意义，因此进一步对原模型 模型汇总和参数估计值 因变量: 单位成本 方程模型汇总参数估计值 R 方 F df1 df2 Sig. 常数b1 线性.912 1 10 .000 对数.943 1 10 .000 幂.931 1 10 .000 指数.955 1 10 .000 自变量为月产量。 表1曲线估计输出结果 二、非线性模型的优化 SPSS提供了非线性回归分析工具，可以对非线性模型进行优化，使其残差平方和达到最小。从Statistic下选Regression菜单中的Nonlinear命令；按Paramaters按钮，输入参数A：和B：；选单位成本到Dependent框中，在模型表达式框中输入“A*EXP(B*月产量)”，确定。SPSS输出结果见表2。 由输出结果可以看出，经过6次模型迭代过程，残差平方和已有了较大改善，缩小为，误差率小于， 优化后的模型为： 迭代历史记录b 迭代数a残差平方和参数 A B +133 .087
第五章回归分析 “回归”一词的由来 1889年，英国著名统计学家Francils Galton在研究父代与子代身高之间的关系时发现：身材较高的父母，他们的孩子也较高，但这些孩子的平均身高并没有他们父母的平均身高高；身材较矮的父母，他们的孩子也较矮，但这些孩子的平均身高却比他们父母的平均身高高。 Galton把这种后代的身高向中间值靠近的趋势称为“回归现象”。后来，人们把由一个变量的变化去推测另一个变量的变化的方法称为“回归方法”。 回归分析的基本概念 1. 函数关系和统计相关关系 在一个实际问题中会遇到多个变量，可将其区分为自变量和因变量. 自变量和因变量之间的关系又可分为两
类：函数关系和统计相关关系. 函数关系：自变量的取值确定后，因变量的值就完全确定. 如圆的半径与圆的面积就构成函数关系. 统计相关关系：自变量的取值确定后，因变量的值并不完全确定；通过大量的统计数据又可发现它们之间确实存在着某种关系，这时称自变量与因变量之间构成统计相关关系. 如 （1）商品定价x 与该商品的销售量Y ； （2）日期x 与某地的日平均气温 Y ； （3）父母身高),(y x 与儿子成年后的身高Z ； 上述自变量与相应因变量之间都构成统计相关关系. 2. 回归分析 回归分析（Regression Analysis ），就是一种研究自变量（是可控变量时）与因变量（随机变量）之间的统计相关
关系的统计方法. 从自变量和因变量的一组观测数据出发，寻找一个函数式，将变量之间的统计相关关系近似表达出来，这个能近似表达自变量与因变量之间关系的函数，称为回归函数. 3. 回归的分类 依照回归函数是线性的还是非线性的，分为线性回归（Linear Regression）和非线性回归（Nonlinear Regression）；依照回归函数是一元函数还是多元函数，又可分为一元回归（Simple Regression）和多元回归（Multiple Regression）. §5.1 一元线性回归中的 参数估计 一元线性回归的数学模型与主要问题 (1)一元回归的数学模型
多元回归分析法的介绍及具体应用
————————————————————————————————作者: ————————————————————————————————日期： ?
多元回归分析法的介绍及具体应用 在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量之间如何发生相互影响的,就需要利用相关分析和回归分析。回归分析的主要类型:一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。这里主要讲的是多元线性回归分析法。 1. 多元线性回归的定义 说到多元线性回归分析前，首先介绍下医院回归线性分析,一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件下,分析某一个因素（自变量)是如何影响另一事物(因变量）的过程,所进行的分析是比较理想化的。其实，在现实社会生活中,任何一个事物(因变量）总是受到其他多种事物（多个自变量)的影响。 一元线性回归分析讨论的回归问题只涉及了一个自变量,但在实际问题中，影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还要受到消费者收入、其他商品的价格、消费者偏好等因素的影响;影响水果产量的外界因素有平均气温、平均日照时数、平均湿度等。 因此,在许多场合,仅仅考虑单个变量是不够的,还需要就一个因变量与多个自变量的联系来进行考察,才能获得比较满意的结果。这就产生了测定多因素之间相关关系的问题。 研究在线性相关条件下,两个或两个以上自变量对一个因变量的数量变化关系，称为多元线性回归分析，表现这一数量关系的数学公式,称为多元线性回归模型。 多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归模型类似,只是在计算上更为复杂，一般需借助计算机来完成。 ２. 多元回归线性分析的运用 具体地说,多元线性回归分析主要解决以下几方面的问题。 （1)、确定几个特定的变量之间是否存在相关关系,如果存在的话,找出它们
参数估计的方法 矩法 一、矩的概念 矩(moment )分为原点矩和中心矩两种。对于样本n y y y ，，， 21，各观测值的k 次方的平均值，称为样本的k 阶原点矩，记为k y ，有∑==n i k i k y n y 1 1，例如，算术 平均数就是一阶原点矩；用观测值减去平均数得到的离均差的k 次方的平均数称为样本的k 阶中心矩，记为k y y ) (-或k μ ?，有∑-= -=n i k i k y y n y y 1 ) (1)(，例如，样本 方差 ∑-=n i i y y n 1 2 ) (1就是二阶中心矩。 对于总体N y y y ，，， 21，各观测值的k 次方的平均值，称为总体的k 阶原点矩，记为)(k y E ，有∑= =N i k i k y N y E 1 1)(；用观测值减去平均数得到的离均差的k 次方 的平均数称为总体的k 阶中心矩，记为 ] )[(k y E μ-或 k μ，有 ∑-= -=N i k i k y N y E 1 ) (1])[(μμ。 二、矩法及矩估计量 所谓矩法就是利用样本各阶原点矩来估计总体相应各阶原点矩的方法，即 ∑= =n i k i k y n y 1 1→)(k y E (8·6) 并且也可以用样本各阶原点矩的函数来估计总体各阶原点矩同一函数，即若 ))(，)，()，((k y E y E y E f Q 2= 则 )，，，(k y y y f Q 2?= 由此得到的估计量称为矩估计量。 [例8.1] 现获得正态分布)，(2σμN 的随机样本n y y y ，，， 21，要求正态分布)，(2σμN 参数μ和2σ的矩估计量。 首先，求正态分布总体的1阶原点矩和2阶中心矩： ?=?? ? ???--? =?=∞ +∞-∞ +∞-μσμσπdy y y dy y yf y E 2 2 exp 2)(21)()( (此处?? ? ???--2 2exp σμ2)(y 表示自然对数底数e 的?? ? ???--2 2σμ2)(y 的指数式，即] [2)(22 σμ--y e )
多元线性回归模型案例分析 ——中国人口自然增长分析 一·研究目的要求 中国从1971年开始全面开展了计划生育,使中国总和生育率很快从1970年的5.8降到1980年2.24,接近世代更替水平。此后，人口自然增长率（即人口的生育率）很大程度上与经济的发展等各方面的因素相联系，与经济生活息息相关，为了研究此后影响中国人口自然增长的主要原因，分析全国人口增长规律，与猜测中国未来的增长趋势，需要建立计量经济学模型。 影响中国人口自然增长率的因素有很多，但据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。 二·模型设定 为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据 年份人口自然增长率 （%。） 国民总收入 （亿元） 居民消费价格指数增长 率（CPI）% 人均GDP （元） 1988 15.73 15037 18.8 1366 1989 15.04 17001 18 1519 1990 14.39 18718 3.1 1644 1991 12.98 21826 3.4 1893 1992 11.6 26937 6.4 2311 1993 11.45 35260 14.7 2998 1994 11.21 48108 24.1 4044 1995 10.55 59811 17.1 5046 1996 10.42 70142 8.3 5846 1997 10.06 78061 2.8 6420 1998 9.14 83024 -0.8 6796 1999 8.18 88479 -1.4 7159 2000 7.58 98000 0.4 7858 2001 6.95 108068 0.7 8622 2002 6.45 119096 -0.8 9398 2003 6.01 135174 1.2 10542 2004 5.87 159587 3.9 12336 2005 5.89 184089 1.8 14040
第21讲 参数估计习题课 教学目的：1. 通过练习使学生进一步掌握矩估计和最大似然估计的计算方法； 2. 通过练习使学生理解无偏性和有效性对于评价估计量标准的重要性； 3. 通过练习使学生进一步掌握正态总体参数的区间估计和单侧置信限。 教学重点：矩估计和最大似然估计，无偏性与有效性，正态总体参数的区间估计。 教学难点：矩估计，最大似然估计，正态总体参数的区间估计。 教学时数：2学时。 教学过程： 一、知识要点回顾 1. 矩估计 ） 用各阶样本原点矩n k i i 11x n k V ==∑ 作为各阶总体原点矩k EX 的估计,1,2, k =。若有参 数2g(,(),,)k E X E X E X θ=（）（），则参数θ的矩估计为 n n n 2 i=1i=1i=1 111?(,, ,)k i i i X X X n n n θ=∑∑∑。 2. 最大似然估计 似然函数1()(;)n i i L f x θθ==∏，取对数ln[()]L θ，从 ln() d d θθ =0中解得θ的最大似然估计θ ?。 3. 无偏性,有效性 当θθ=?E 时，称θ?为θ的无偏估计。 当21?D ?D θθ<时，称估计量1?θ比2 ?θ有效。 二 、典型例题解析 1．设,0()0, 0x e x f x x θθ-?>=?≤?，求θ的矩估计。 解 ,0 dx xe EX x ?+∞ -=θθ设du dx u x x u θ θ θ1 ,1 ,= = = 则0 0011 1()0()u u u EX ue du ue e du e θθθθ+∞+∞--+∞ --+∞????==-+=+-??? ?????=θ 1