收稿日期:2008-03-24;修回日期:2008-06-10。
作者简介:陈蓉(1982-),女,山东济宁人,硕士研究生,主要研究方向:未来无线移动通信与信息系统、计算机网络; 宋俊德(1938-),
男,河北沧州人,教授,博士生导师,主要研究方向:移动通信理论、无线接入、未来通信系统(4G )与软件无线电技术。
文章编号:1001-9081(2008)09-2230-03
基于S V M 分块回归分析的话务量预测模型
陈 蓉
1,2
,宋俊德
2
(1.电子科技大学中山学院电子工程系,广东中山528400; 2.北京邮电大学电子工程学院,北京100876)
(c h e n r o n g m i s s @g m a i l .c o m )
摘 要:针对话务量的特性,提出了一种基于支持向量机分块回归分析的话务量预测模型,将话务量按日期分为工作日话务量、周末话务量进行建模,采用不同的模型预测相应的话务量。实验结果证明了该模型的有效性,相比传
统的A R M A 模型获得了更好的预测效果。
关键词:话务量分析;预测模型;支持向量机模型;A R M A 模型
中图分类号:T P 393.07 文献标志码:A
C o m m u n i c a t i o nt r a f f i c f o r e c a s t i n g m o d e l
b a s e do n m u l t i p l e S V M r e g r e s s i o n f u n
c t i o n s
C H E NR o n g 1,2
,S O N GJ u n -d e
2
(1.D e p a r t m e n t o f E l e c t r o n i c E n g i n e e r i n g ,U n i v e r s i t yo f E l e c t r o n i c S c i e n c e a n dT e c h n o l o g y o f C h i n aZ h o n g s h a nI n s t i t u t e ,
Z h o n g s h a nG u a n g d o n g ,528400,C h i n a ;
2.S c h o o l o f E l e c t r o n i c E n g i n e e r i n g ,B e i j i n gU n i v e r s i t yo f P o s t s a n d T e l e c o m m u n i c a t i o n s ,B e i j i n g 100876,C h i n a )
A b s t r a c t :A c c o r d i n g t o t h e c h a r a c t e r i s t i c s o f c o m m u n i c a t i o n t r a f f i c ,a t r a f f i c f o r e c a s t i n g m o d e l b a s e d o n m u l t i p l e S u p p o r t V e c t o r M a c h i n e s (S V M )r e g r e s s i o n f u n c t i o n s w a s p r o p o s e d .I nt h i s m o d e l ,t h e t r a f f i c d a t a w i l l b e d i v i d e di n t o t w o g r o u p s b y
t h ed a t e ,w h i c h a r e t h e w o r k i n g -d a y t r a f f i c d a t a a n d t h e w e e k e n d t r a f f i c d a t a .T h e n t w o d i f f e r e n t S V Mm o d e l s a r e t r a i n e d u s i n g t h o s e d a t a .T h ee x p e r i m e n t a l r e s u l t ss h o w t h a t t h i sm o d e l i sv e r ye f f e c t i v e .M o r e o v e r ,t h ep e r f o r m a n c eo f t h i sm o d e l o u t p e r f o r m s t h a t o f t r a d i t i o n a l A R M Am o d e l .
K e yw o r d s :c o m m u n i c a t i o n t r a f f i c a n a l y s i s ;f o r e c a s t i n gm o d e l ;S u p p o r t V e c t o r M a c h i n e s (S V M )m o d e l ;A R M Am o d e l
0 引言
随着通信网应用和规模的不断增加,网络管理变得越来越重要,新一代的网管系统对业务量的预测也提出了新的需求,通信话务量的预测分析已经成为其中非常重要的一部分,准确的话务量预测对网络管理、规划和设计具有重要意义。话务量预测,是指通过分析通信网话务量的历史数据统计规律或相关因素,对未来网络可能出现的话务量进行估计和预期。预测结果的准确与否直接关系到企业未来的发展,因此对话务量需求的预测日益受到移动运营商的关注[1-4]。
大部分移动公司目前采用的预测技术,仅限于简单函数的拟合预测,如惯性预测[5-6]、K a l m a n 滤波[7]等,这些模型相对简单,难于满足现阶段话务量的复杂变化方式。话务量作为一种典型的时间序列,常用的时间序列分析预测方法———A R M A 模型[8]被应用于话务量预测,并能较好地描述话务量序列,但是其前提是话务量序列是平稳的,且很难针对话务特点进行分块描述不同变化的话务量。
话务量是一种动态的、随机的时间序列,随着每天的不同时间段而变化,而且易受节假日、旅游等其他因素的影响,工作日话务量大而使其话务量高于周末,白天流量又明显高于夜间。随着话务量的变化方式趋于复杂,而话务量预测工具缺乏和准确率不高,因此对话务量预测模型进行研究和引入新的预测模型,将具有重大意义。鉴于以上模型的不足,本文针对话务量自身特点,即周末话务量与工作日话务量具有不
同特性,提出了一种基于支持向量机(S u p p o r tV e c t o r
M a c h i n e s ,S V M )[9-10]
分块回归分析的预测模型,将话务量按日期分为工作日话务量、周末话务量进行建模,然后采用不同
的模型预测相应的话务量,获得了更好的预测效果。
1 预测模型设计
1.1 预测模型框架图
本文设计了一个基于S V M 分块回归分析的话务量预测模型,该模型包括两个阶段:训练阶段和预测阶段,其结构如图1所示。训练阶段过程如下:首先读入数据,对数据进行预处理,然后根据日期将训练数据分为工作日话务量数据和周末话务量数据,分别用于训练两个不同的S V M 模型———即工作日模型和周末模型,保存训练好的模型用于预测阶段使用。在预测阶段,导入训练好的模型,根据测试数据的日期(属于工作日或者周末)对数据分类,将预处理后的数据分别输入到相应的预测模型(即工作日话务量模型和周末话务量模型),然后进行预测得到预测结果,最后将预测结果整合到一起,输出预测数据。
1.2 预处理
读入数据之后,先通过预处理对原始数据进行归一化处理,归一化过程如下:
P i =(X i -X
)/σ(1)
其中X i 为原始数据,X 为数据均值,σ为数据方差,原始数据经过预处理后变换为均值为零的数据P i
,在预测阶段可根据第28卷第9期
2008年9月
计算机应用
C o m p u t e r A p p l i c a t i o n s
V o l .28N o .9
S e p .2008
样本均值和方差还原输出预测值
。
图1 基于S V M 分块回归分析的话务量预测模型框图
1.3 S V M 回归分析
S V M [9,11-12]
由于在模式识别[13]
等人工智能领域的成功应用而受到广泛关注。其基本思想是:基于M e r c e r 核展开定理[12]
,可以通过非线性映射,把样本空间映射到一个高维乃至于无穷维的特征空间,使在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。
要用S V M 来解决回归问题,首先考虑用线性回归函数拟合数据的问题。给定训练样本集(x i ,y i ),i =1,2,…,n ,x ∈R d ,y 为期望输出y ∈R ,其中n 为样本数,d 为样本的空间维数,通过训练学习寻找一个反映样本数据的最优线性回归函
数f (x )=w T
x +b ,所得函数对样本数据集拟合得“最好”,也就是累计误差最小。根据S V M 的理论求解最优的回归函数转化为一个求解二次优化问题,需要优化的目标函数为:m i n
12w T w+C (∑
n
i =1
(ξi +ξ＊i ))(2)
约束条件为:y i -w ·x i -b ≤ε+ξi w ·x i +b-y i ≤ε+ξ＊i
(3)
其中ε为精度误差,i =1,2,…,n ,两个非负的松弛因子ξi
≥0和ξ＊
i ≥0
,常数C>0控制对超出误差ε的惩罚程度。利用优化方法将上述问题转化求解为:
a ,a ＊
=a r g m i n
a ,a
＊1
2∑n i =1
∑
n
j =1(αi -α＊i )(αj -α＊
j )〈x i ,x j
〉-∑n
i =1
y i
(
αi
-α＊
i
)+ε∑n
i =1
(αi
+α＊
i
)(4)
约束条件为:∑n
i =1
(
αi
-α＊
i
)=00≤αi ,α＊i ≤C ; i =1,2,…,n (5)
相应的回归函数为:f (x )=w T
x+b=
∑n
i =1
(
αi
-α＊
i
)〈x i
·x 〉+b ＊
(6)
这里α和α＊
i 将只有小部分不为零,它们对应的样本就是支持向量,一般是在函数变化比较剧烈的位置上的样本。
要实现非线性回归函数的拟合,只要用核函数K (x i ,x j )=〈φ(x i ),φ(x j )〉替代上面式(4)、(6)中的〈x i ,x j 〉即可。支持向量机中常用的核函数有多项式核函数、径向基
(R a d i a l B a s i s F u n c t i o n ,R B F )核函数、多层感知器核函数等,
选用不同的核函数可以构造不同的支持向量机,详请
见[9-10,12]。本文选用R B F 核函数,因为R B F 核函数可以将样本映射到一个高维空间,可以较好地处理非线性特性,其数学表达式如下:
K (x ,x i )=e x p -γ‖x -x i ‖2」(7)R B F 核与多项式核相比具有参数少的优点,而参数的个数直接影响到模型选择的复杂性。
2 实验结果及分析
2.1 各时段的话务量
为了评估和验证所提方法的预测性能,我们收集了长春市移动话务量数据,从2007年5月15日到6月30日期间收集的话务量数据,如图2所示,该数据集记录了47天内每个小时的话务量数据(共1128个小时的数据)。图2(a )为每天
的话务量,其y 轴为话务量流量,x 轴为日期,图中数据从星期二开始,可以看出以7天为一个基本周期,且工作日话务量要明显高于周末;图2(b )为每小时平均话务量流量,x 轴对应24小时,从图中可见话务量在早晨10时～11时达到一个峰值(通常称为早忙时),在晚上19时～20时达到另一个峰值(通常称为晚忙时),而在凌晨3时～4时达到低点(谷底),显示了测量数据的时序性和周期性。本文尝试根据话务量的特点建立多个模型进行预测。
图2 长春市移动的话务量
2.2 预测误差
预测值与真实值存在一定的差距,这个差距就是预测误差,预测误差往往作为衡量预测模型估计效果优劣的标准。预测误差愈大,准确性就愈低;反之,误差愈小,准确性就愈高。本文采用两种常用的方法来衡量预测误差,分别是平均绝对误差和均方误差:
1)平均误差(M A P E )
M A P E (n )=1
n ∑
n i =1
x i -x i
′ (8)
2)均方误差(M S E )M S E (n )=
1n ∑
n
i =1
(x i -x i
′)2
(9)
在以上公式中,x i 表示i 时刻话务量的真实值,x ′i
表示该时刻话务量的预测值,n 表示n 个数据点组成的话务量数据。2.3 实验设置
在预测模型中,时刻t +1的话务量是根据前n 个时刻的历史数据来预测的,本文使用X 来表示输入向量x t ,x t -1,…,x t =n +1,用Y 表示期望预测结果x t +1,则(X ,Y )表示对应的样本,对于长春话务量数据,取前5个小时的话务量数据作为输入向量,预测第6个小时的话务量,通过简单的划分可以构造一个样本集,共有1118个样本。在本文的实验中固定使用前1000个样本作为训练样本,这1000个训练样本又根据数据日期分为两类:工作日训练数据和周末训练数据,其中工作日
2231
第9期陈蓉等:基于S V M 分块回归分析的话务量预测模型
训练数据是712个,用于训练S V M工作日模型,而周末训练数据为288个,用于训练S V M周末模型。固定使用最后100个样本作为测试样本,根据数据的日期输入到相应的预测模型,获得相应的预测结果。
本文借助L I B S V M工具包[14]在M a t l a b平台上实现了S V M回归预测模型,在S V M回归模型中,不同的模型参数决定了不同的预测效果,模型参数包括惩罚参数C和R B F核函数的参数γ,凭经验惩罚参数C一般选取1到100,参数γ一般从0.1到10。
2.4 结果分析与比较
下面通过实验来确定惩罚参数C和参数γ的值,先在较大范围取值,确定大致的最优区域后,再在较小范围内取值。设定C=1不变,改变参数γ的值从0.1递增到0.9,再从1.0递增到10,对应的预测误差见表1第2、3列,随着参数γ增加,其预测误差M A P E和MS E首先逐渐变小,当到达一定值(γ= 3)后,其预测误差开始逐渐变大,可见参数C=1对应有一个最佳的参数(γ=3);通过比较C=10和C=100的预测误差,具有同样的情况,即不同参数C都对应有最佳的参数γ使得预测误差达到最小。
不同惩罚参数C和参数γ得到模型的预测误差如表1所示。
表1 不同惩罚参数C和参数γ对应的预测误差
γ
C=1
M A P E(100)M S E(100)
C=10
M S E(100)M A P E(100)
C=100
M S E(100)M S E(100)
0.10.09350.14140.07430.11450.05690.0806 0.20.07970.12080.05840.08250.05050.0762 0.30.06970.10000.05180.07620.04780.0714 0.40.06510.09060.05260.07680.04610.0671 0.50.06110.08540.04880.07140.04420.0648 0.60.05880.08310.04730.07000.04240.0616 0.70.05610.08000.04600.06860.04200.0600 0.80.05640.08000.04470.06560.04170.0592
0.90.05540.07870.04400.06400.04130.0583
1.00.05500.07810.04300.06240.04110.0574
2.00.04820.06710.04110.05660.04090.0548
3.00.04770.06400.04120.05570.04390.0608
4.00.04990.06630.04110.05660.04420.0624
5.00.05160.06860.04200.05920.04440.0640
6.00.05340.07280.04390.06160.04850.0693
7.00.05630.07870.04500.06240.05500.0768
8.00.05910.08430.04560.06480.05950.0854
9.00.06200.09060.04700.06710.06200.0906
10.00.06450.09640.04900.07070.06580.097
图3 S V M话务量模型的预测结果
通过实验发现:当(C=100,γ=2)时得到最小的M S E 预测误差(0.0548)和M A P E预测误差(0.0409),即预测性能最好;然而随着惩罚参数C的增加,其训练时间明显增长,而不同参数C对应的最小误差(见表1中每列的最小值)基本差不多。因此综合性能和训练时间两方面考虑,选择参数(C=10,γ=3)对应的S V M话务量预测模型,图3给出了该模型在测试样本上的预测结果曲线图,其中x轴为第n个测试样本,y轴为话务量,从图3中可见预测数据曲线与真实数据曲线非常吻合,而且预测值与真实值很接近,这说明了使用基于S V M分块回归分析的话务量预测模型的效果很好。
为了对基于S V M分块回归分析的话务量预测模型的效果有更进一步的认识,与A R M A预测模型进行了比较,在同样的实验条件下训练得到A R M A预测模型的最优模型参数,表2给出了两种模型在话务量数据上的预测结果。通过比较,发现S V M模型的预测误差都小于A R M A模型,这说明了提出的S V M模型用于话务量预测的优越性。
表2 比较两种模型的预测性能(数据点为100)
预测误差S V M模型A R M A模型
M A P E0.04120.071
M S E0.05570.086
3 结语
本文针对话务量的特点,提出了一种基于S V M分块回归分析的话务量预测模型,通过对工作日话务量和周末话务量进行分块建模,然后采用不同的模型预测相应的话务量,相比传统的A R M A模型获得了更好的预测效果。如果有长期统计的数据,则可根据实际的情况建立多个节日模型来仿真节日话务量的情况,从而得到更准确的预测结果。
参考文献:
[1] 黄海辉.一种周期时间序列的预测算法[J].计算机工程与应用,
2006,42(5):71-73.(下转第2235页)
2232
计算机应用第28卷
点,该算法对抗旋转攻击的能力很强。3.4 剪切攻击
对图像的左上角、右上角、中间、左下角和右下角剪切100×
100单位后,构造的水印与零水印的相关系数如表5所示。表4 旋转攻击时对应的相关系数旋转度数
相关系数50.9848150.9659200.9632300.9621500.9598600.9811750.984390
1.0000
表5 剪切攻击时对应的相关系数剪切方向相关系数左上角0.7822右上角0.7803中间0.6913左下角
0.7595
右下角0.7841通过表5可以看出,对宿主图像进行剪切攻击后,所构造的水印与零水印的相关度比较高。对四个角分别剪切100×100图像的特征损失比对图像中间剪切100×100要少,因而对图像进行中间剪切攻击后所构造的水印与零水印相关系数相对四角剪切的要小。算法依然能有效证明其彼此的相关性。
3.5 平移攻击
分别将图像向左上
方、右上方、左下方和右
下方平移后,构造的水印与零水印的相关系数如表6所示。
表6 平移攻击时对应的相关系数
向左上方移动单位相关系数向右上方移动
单位相关系数向左下方移动
单位相关系数向右下方移动
单位相关系数5
0.6591
50.66985
0.7083
5
0.6231
150.6515150.6427150.6852150.6179250.6155
25
0.6133
250.6360
250.6042
通过表6可以看出,对宿主图像进行平移攻击后,所构造的水印与零水印的相关度并不是很高,但相关系数均在0.6以上,均大于所拟订的阈值(0.6),依然能有效地证明其相关性,算法可行。3.6 J P E G 攻击
对图像进行J P E G 压缩攻击后构造的水印与零水印的相关系数如表7所示。 通过表7可以看出,对宿主图像进行J P E G 压缩攻击后,
所构造的水印与零水印的相关度非常高,相关系数均在0.95以上,说明该算法抗压缩能力很好。
表7 J P E G 压缩攻击时对应的相关系数
J P E G 压缩攻击
相关系数200.9846300.9867400.9962500.997660
0.9998
实验结果表明,该算法在不改变原宿主图像的前提下利
用Z e r n i k e 矩幅度的旋转不变性所构造的零水印能有效地作为版权认证。对宿主图像进行旋转、加噪、压缩和缩放等攻击相关度均在0.9以上,效果很好。通过比较与L e n a 图完全不相关的C a m e r a 图,得到的相关系数为0.5644,小于所规定的阈值0.6,而在对宿主图像进行剪切,平移等攻击时,其相关系数均大于0.6,有效证明了相关性,算法可行。
4 结语
本文提出的结合Z e r n i k e 不变矩的零水印算法,有效地解决了传统数字水印不可感知性和鲁棒性之间的矛盾问题,并且由于阈值的引入,增加了此算法的安全性和有效性。大量实验数据表明该算法对各种攻击都有很好的鲁棒性。参考文献:
[1] 温泉,孙锬锋,王树勋.零水印的概念与应用[J ].电子学报,
2003,31(2):214-216.
[2] 江玉珍,杨群生.基于D C T 域和D W T 域的图像零水印算法的研
究[J ].电脑开发与应用,2005,18(6):12-14.
[3] 欧阳迎春,江玉珍,杨群生.基于四叉树的小波域图像零水印算
法[J ].江西师范大学学报:自然科学版,2005,29(6):471-474.[4] K H O T A N Z A D A ,H O N G SY H .I n v a r i a n t i m a g er e c o g n i t i o nb y
Z e r n i k em o m e n t s [J ].I E E ET r a n s a c t i o n so nP a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e ,1990,12(5):489-497.
[5] 孙圣和,陆哲明,牛夏牧[M].北京:科学出版社,2004.
[6] C O XI J ,L I N N A R T ZJ PMG .S o m e g e n e r a l m e t h o d s f o r t a m p e r i n g
w i t hw a t e r m a r k s [J ].I E E EJ o u r n a l o nS e l e c t e dA r e a s i nC o m m u n i -c a t i o n s ,1998,16(4):587-593.
(上接第2232页)
[2] 陶伟宜.基于回归方法的移动通信话务量预测[J ].邮电设计技
术,2004(5):29-32.
[3] 丁南岗.移动通信话务研究[J ].黑龙江通信技术,2000(9):5-8.[4] 汤燕娟,张小刚.业务预测与无线网话务量分析方法初探[J ].电
信工程技术与标准化,2005(3):77-83.
[5] 刘童,孙吉贵,张永刚,等.用周期模型和近邻算法预测话务量时
间序列[J ].吉林大学学报:信息科学版,2007,25(3):239-245.[6] 程伟.基于季节变动模型的话务量预测[J ].湖北邮电技术,2000
(3):25-27.
[7] H A R V E YA C .F o r e c a s t i n g ,s t r u c t u r a l t i m es e r i e s m o d e l s a n dt h e
k a l m a nf i l t e r [M ].C a m b r i d g e ,U K :C a m b r i d g eU n i v e r s i t yP r e s s ,1991.
[8] B O XGEP ,J E N K I N S GM ,R E I N S E LGC .T i m e s e r i e s a n a l y s i s :
F o r e c a s t i n g a n dc o n t r o l [M].3r de d .N e wJ e r s e y :P r e n t i c e -H a l l ,1994.
[9] G U N NS R .S u p p o r t v e c t o r m a c h i n e s f o r c l a s s i f i c a t i o n a n d r e g r e s s i o n
[R ].S o u t h a m p t o n :U n i v e r s i t y o f S o u t h a m p t o n ,1998.
[10] 陈永义,俞小鼎,高学浩,等.处理非线性分类和回归问题的一种
新方法(I )———支持向量机方法简介[J ].应用气象学报,2004,15(3):345-354.
[11] C R I S T I A N I N I N ,S H A WAT A Y L O R J .A ni n t r o d u c t i o nt os u p p o r t
v e c t o r m a c h i n e s a n d o t h e r k e r n e l -b a s e d l e a r n i n g m e t h o d s [M ].C a m -b r i d g e ,U K :C a m b r i d g e U n i v e r s i t y P r e s s ,2000.
[12] S C H O L K O P FB ,B U R G E SCJ ,S M O L A AJ .A d v a n c e s i nk e r n e l
m e t h o d s -s u p p o r t v e c t o r l e a r n i n g [M ].C a m b r i d g e ,M A :M I TP r e s s ,1999.
[13] B U R G E S CJ .At u t o r i a l o n s u p p o r t v e c t o r m a c h i n e s f o r p a t t e r n r e c -o g n i t i o n [J ].D a t aM i n i n ga n dK n o w l e d g eD i s c o v e r y ,1998,2(2):121-167.
[14] C H A N GCC ,L I NCJ .L I B S V M :Al i b r a r y f o r s u p p o r t v e c t o r m a -c h i n e s [E B /O L ].[2008-01-06].h t t p ://w w w .c s i e .n t u .e d u .t w /～c j l i n /l i b s v m .
2235
第9期
王忠等:基于Z e r n i k e 不变矩的零水印算法
1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：
野外实习资料的数理统计分析 一元线性回归分析 一元回归处理的是两个变量之间的关系，即两个变量X和Y之间如果存在一定的关系，则通过观测所得数据，找出两者之间的关系式。如果两个变量的关系大致是线性的，那就是一元线性回归问题。 对两个现象X和Y进行观察或实验，得到两组数值：X1，X2,…，Xn和Y1，Y2，…，Yn,假如要找出一个函数Y=f(X),使它在 X=X1,X2, …,Xn时的数值f(X1),f(X2), …,f(Xn)与观察值Y1，Y2，…，Yn趋于接近。 在一个平面直角坐标XOY中找出（X1，Y1），（X2，Y2），…，（Xn，Yn）各点，将其各点分布状况进行察看，即可以清楚地看出其各点分布状况接近一条直线。对于这种线性关系，可以用数学公式表示： Y = a + bX 这条直线所表示的关系，叫做变量Y对X的回归直线，也叫Y对X 的回归方程。其中a为常数，b为Y对于X的回归系数。 对于任何具有线性关系的两组变量Y与X，只要求解出a与b的值，即可以写出回归方程。计算a与b值的公式为：
式中：为变量X的均值，Xi为第i个自变量的样本值，为因变量的均值，Yi为第i个因变量Y的样本值。n为样本数。 当前一般计算机的Microsoft Excel中都有现成的回归程序，只要将所获得的数据录入就可自动得到回归方程。 得到的回归方程是否有意义，其相关的程度有多大，可以根据相关系数的大小来决定。通常用r来表示两个变量X和Y之间的直线相关程度，r为X和Y的相关系数。r值的绝对值越大，两个变量之间的相关程度就越高。当r为正值时，叫做正相关，r为负值时叫做负相关。r 的计算公式如下： 式中各符号的意义同上。 在求得了回归方程与两个变量之间的相关系数后，可以利用F检验法、t检验法或r检验法来检验两个变量是否显著相关。具体的检验方法在后面介绍。
[转载]logistic回归模型总结 logistic回归模型是最成熟也是应用最广泛的分类模型，通过学习和实践拟通过从入门、进阶到高级的过程对其进行总结，以便加深自己的理解也为对此有兴趣者提供学习的便利。 一、有关logistic的基本概念 logistic回归主要用来预测离散因变量与一组解释变量之间的关系 最常用的是二值型logistic。即因变量的取值只包含两个类别例如：好、坏；发生、不发生；常用Y=1或Y=0表示X 表示解释变量则 P（Y=1|X）表示在X的条件下Y=1的概率，logistic回归的数学表达式为： log（p/1-p）=A+BX ＝Ｌ其中p/1-p称为优势比（ＯＤＤＳ）即发生与不发生的概率之比 可以根据上式反求出P（Y=1|X）＝１/（１＋ｅ＾-L） 根据样本资料可以通过最大似然估计计算出模型的参数 然后根据求出的模型进行预测 下面介绍logistic回归在ＳＡＳ中的实现以及输出结果的解释 二、logistic回归模型初步
ＳＡＳ中ｌｏｇｉｓｔｉｃ回归输出结果主要包括预测模 型的评价以及模型的参数 预测模型的评价与多元线性回归模型的评价类似主要从以 下几个层次进行 （１）模型的整体拟合优度 主要评价预测值与观测值之间的总体一致性。可以通过以下两个指标来进行检验 １、Ｈosmer-Lemeshowz指标 HL统计量的原假设Ho是预测值和观测值之间无显著差异，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模型很好的拟合了数据。 在ＳＡＳ中这个指标可以用LACKFIT选项进行调用 ２、AIC和SC指标即池雷准则和施瓦茨准则 与线性回归类似AIC和SC越小说明模型拟合的越好 （2）从整体上看解释变量对因变量有无解释作用 相当于多元回归中的F检验在logistic回归中可以通过似然比（likelihood ratio
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
一元线性回归模型案例分析 一、研究的目的要求 居民消费在社会经济的持续发展中有着重要的作用。居民合理的消费模式和居民适度的消费规模有利于经济持续健康的增长，而且这也是人民生活水平的具体体现。改革开放以来随着中国经济的快速发展，人民生活水平不断提高，居民的消费水平也不断增长。但是在看到这个整体趋势的同时，还应看到全国各地区经济发展速度不同，居民消费水平也有明显差异。例如，2002年全国城市居民家庭平均每人每年消费支出为6029.88元, 最低的黑龙江省仅为人均4462.08元，最高的上海市达人均10464元，上海是黑龙江的2.35倍。为了研究全国居民消费水平及其变动的原因，需要作具体的分析。影响各地区居民消费支出有明显差异的因素可能很多，例如，居民的收入水平、就业状况、零售物价指数、利率、居民财产、购物环境等等都可能对居民消费有影响。为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的计量经济模型去研究。 二、模型设定 我们研究的对象是各地区居民消费的差异。居民消费可分为城市居民消费和农村居民消费，由于各地区的城市与农村人口比例及经济结构有较大差异，最具有直接对比可比性的是城市居民消费。而且，由于各地区人口和经济总量不同，只能用“城市居民每人每年的平均消费支出”来比较，而这正是可从统计年鉴中获得数据的变量。所以模型的被解释变量Y 选定为“城市居民每人每年的平均消费支出”。 因为研究的目的是各地区城市居民消费的差异，并不是城市居民消费在不同时间的变动，所以应选择同一时期各地区城市居民的消费支出来建立模型。因此建立的是2002年截面数据模型。 影响各地区城市居民人均消费支出有明显差异的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入，其他因素虽然对居民消费也有影响，但有的不易取得数据，如“居民财产”和“购物环境”；有的与居民收入可能高度相关，如“就业状况”、“居民财产”；还有的因素在运用截面数据时在地区间的差异并不大，如“零售物价指数”、“利率”。因此这些其他因素可以不列入模型，即便它们对居民消费有某些影响也可归入随即扰动项中。为了与“城市居民人均消费支出”相对应，选择在统计年鉴中可以获得的“城市居民每人每年可支配收入”作为解释变量X。 从2002年《中国统计年鉴》中得到表2.5的数据: 表2.52002年中国各地区城市居民人均年消费支出和可支配收入
中国税收增长的分析 一、研究的目的要求 改革开放以来，随着经济体制的改革深化和经济的快速增长，中国的财政收支状况发生了很大的变化，中央和地方的税收收入1978年为519.28亿元到2002年已增长到17636.45亿元25年间增长了33倍。为了研究中国税收收入增长的主要原因，分析中央和地方税收收入的增长规律，预测中国税收未来的增长趋势，需要建立计量经济学模型。 影响中国税收收入增长的因素很多，但据分析主要的因素可能有：（1）从宏观经济看，经济整体增长是税收增长的基本源泉。（2）公共财政的需求，税收收入是财政的主体，社会经济的发展和社会保障的完善等都对公共财政提出要求，因此对预算指出所表现的公共财政的需求对当年的税收收入可能有一定的影响。（3）物价水平。我国的税制结构以流转税为主，以现行价格计算的DGP等指标和和经营者收入水平都与物价水平有关。（4）税收政策因素。我国自1978年以来经历了两次大的税制改革，一次是1984—1985年的国有企业利改税，另一次是1994年的全国范围内的新税制改革。税制改革对税收会产生影响，特别是1985年税收陡增215.42%。但是第二次税制改革对税收的增长速度的影响不是非常大。因此可以从以上几个方面，分析各种因素对中国税收增长的具体影响。 二、模型设定 为了反映中国税收增长的全貌，选择包括中央和地方税收的‘国家财政收入’中的“各项税收”（简称“税收收入”）作为被解释变量，以放映国家税收的增长；选择“国内生产总值（GDP）”作为经济整体增长水平的代表；选择中央和地方“财政支出”作为公共财政需求的代表；选择“商品零售物价指数”作为物价水平的代表。由于税制改革难以量化，而且1985年以后财税体制改革对税收增长影响不是很大，可暂不考虑。所以解释变量设定为可观测“国内生产总值（GDP）”、“财政支出”、“商品零售物价指数” 从《中国统计年鉴》收集到以下数据 财政收入（亿元） Y 国内生产总值(亿 元） X2 财政支出（亿 元） X3 商品零售价格指 数（%) X4 1978519.283624.11122.09100.7 1979537.824038.21281.79102 1980571.74517.81228.83106
1.逻辑回归模型 1.1逻辑回归模型 考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为 （1.1） 上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。 其中。如果含有名义变量，则将其变为dummy变量。一个具有k个取值的名义变量，将变为k-1个dummy变量。这样，有 （1.2） 定义不发生事件的条件概率为 （1.3） 那么，事件发生与事件不发生的概率之比为 （1.4） 这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0
得到的概率。在同样条件下得到的条件概率为。于是，得到一个观测值的概率为 （1.6） 因为各项观测独立，所以它们的联合分布可以表示为各边际分布的乘积。 （1.7） 上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是，最大似然估计的关键就是求出参数，使上式取得最大值。 对上述函数求对数 （1.8） 上式称为对数似然函数。为了估计能使取得最大的参数的值。 对此函数求导，得到p+1个似然方程。 （1.9） ，j=1,2,..,p. 上式称为似然方程。为了解上述非线性方程，应用牛顿－拉斐森(Newton-Raphson)方法进行迭代求解。 1.3牛顿－拉斐森迭代法 对求二阶偏导数，即Hessian矩阵为 （1.10） 如果写成矩阵形式，以Ｈ表示Hessian矩阵，Ｘ表示 （1.11） 令
多元线性回归模型案例分析 ——中国人口自然增长分析一·研究目的要求 中国从1971年开始全面开展了计划生育,使中国总和生育率很快从1970年的降到1980年,接近世代更替水平。此后，人口自然增长率（即人口的生育率）很大程度上与经济的发展等各方面的因素相联系，与经济生活息息相关，为了研究此后影响中国人口自然增长的主要原因，分析全国人口增长规律，与猜测中国未来的增长趋势，需要建立计量经济学模型。 影响中国人口自然增长率的因素有很多，但据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。 二·模型设定 为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据
， 设定的线性回归模型为： 1222334t t t t t Y X X X u ββββ=++++ 三、估计参数 利用EViews 估计模型的参数，方法是： 1、建立工作文件：启动EViews ，点击File\New\Workfile ，在对 话框“Workfile Range ”。在“Workfile frequency ”中选择“Annual ” (年 年份 @ 人口自然增长率 （%。） 国民总收入 （亿元） 居民消费价格指数增长 率（CPI ）% 人均GDP （元） 1988 15037 1366 1989 … 17001 18 1519 1990 18718 1644 1991 【 21826 1893 1992 26937 2311 1993 . 35260 2998 1994 48108 4044 1995 — 59811 5046 1996 70142 5846 1997 ~ 78061 6420 1998 83024 6796 1999 【 88479 7159 2000 98000 7858 2001 [ 108068 8622 2002 119096 9398 2003 ： 135174 10542 2004 159587 12336 2005 、 184089 14040 2006 213132 16024
SVM神经网络的回归预测分析---上证指数开盘指数预测 该案例作者申明： 1：本人长期驻扎在此板块里，对该案例提问，做到有问必答。 2：此案例有配套的教学视频，配套的完整可运行Matlab程序。 3：以下内容为该案例的部分内容（约占该案例完整内容的1/10）。 4：此案例为原创案例，转载请注明出处（Matlab中文论坛，《Matlab神经网络30个案例分析》）。 5：若此案例碰巧与您的研究有关联，我们欢迎您提意见，要求等，我们考虑后可以加在案例里。 6：您看到的以下内容为初稿，书籍的实际内容可能有少许出入，以书籍实际发行内容为准。 7：此书其他常见问题、预定方式等，请点击这里。 Contents ●清空环境变量 ●数据的提取和预处理 ●选择回归预测分析最佳的SVM参数c&g ●利用回归预测分析最佳的参数进行SVM网络训练 ●SVM网络回归预测 ●结果分析 ●子函数 SVMcgForRegress.m 清空环境变量 function chapter14 tic; close all; clear; clc; format compact; 数据的提取和预处理 % 载入测试数据上证指数(1990.12.19-2009.08.19) % 数据是一个4579*6的double型的矩阵,每一行表示每一天的上证指数 % 6列分别表示当天上证指数的开盘指数,指数最高值,指数最低值,收盘指数,当日交易量,当日交易额. load chapter14_sh.mat; % 提取数据 [m,n] = size(sh); ts = sh(2:m,1); tsx = sh(1:m-1,:); % 画出原始上证指数的每日开盘数 figure;
案例分析报告 （2014——2015学年第一学期） 课程名称：预测与决策 专业班级：电子商务1202 学号： 2204120202 学生姓名：陈维维 2014 年 11月 案例分析（一元线性回归模型） 我国城镇居民家庭人均消费支出预测 一、研究目的与要求 居民消费在社会经济的持续发展中有着重要的作用，居民合理的消费模式和居民适度的消费规模有利于经济持续健康的增长，而且这也是人民生活水平的具体体现。从理论角度讲，消费需求的具体内容主要体现在消费结构上，要增加居民消费，就要从研究居民消费结构入手，只有了解居民消费结构变化的趋势和规律，掌握消费需求的热点和发展方向，才能为消费者提供良好的政策环境，引导消费者合理扩大消费，才能促进产业结构调整与消费结构优化升级相协调，才能推动国民经济平稳、健康发展。例如，2008年全国城镇居民家庭平均每人每年消费支出为11242.85元，?最低的青海省仅为人均8192.56元，最高的上海市达人均19397.89元，上海是黑龙江的2.37倍。为了研究全国居民消费水平及其变动的原因，需要作具体的分析。影响各地区居民消费支出有明显差异的因素可能很多，例如，零售物价指数、利率、居民财产、购物环境等等都可能对居民消费有影响。为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的计量经济模型去研究。 二、模型设定?
我研究的对象是各地区居民消费的差异。居民消费可分为城镇居民消费和农村居民消费，由于各地区的城镇与农村人口比例及经济结构有较大差异，最具有直接对比可比性的是城市居民消费。而且，由于各地区人口和经济总量不同，只能用“城镇居民每人每年的平均消费支出”来比较，而这正是可从统计年鉴中获得数据的变量。 所以模型的被解释变量Y选定为“城镇居民每人每年的平均消费支出”。 因为研究的目的是各地区城镇居民消费的差异，并不是城镇居民消费在不同时间的变动，所以应选择同一时期各地区城镇居民的消费支出来建立模型。因此建立的是2008年截面数据模型。影响各地区城镇居民人均消费支出有明显差异的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入，其他因素虽然对居民消费也有影响，但有的不易取得数据，如“居民财产”和“购物环境”；有的与居民收入可能高度相关，如“就业状况”、“居民财产”；还有的因素在运用截面数据时在地区间的差异并不大，如“零售物价指数”、“利率”。因此这些其他因素可以不列入模型，即便它们对居民消费有某些影响也可归入随即扰动项中。 为了与“城镇居民人均消费支出”相对应，选择在统计年鉴中可以获得的“城市居民每人每年可支配收入”作为解释变量X。 以下是2008年各地区城镇居民人均年消费支出和可支配收入表
我国农民收入影响因素的回归分析 本文力图应用适当的多元线性回归模型,对有关农民收入的历史数据和现状进行分析,探讨影响农民收入的主要因素,并在此基础上对如何增加农民收入提出相应的政策建议。?农民收入水平的度量常采用人均纯收入指标。影响农民收入增长的因素是多方面的，既有结构性矛盾因素，又有体制性障碍因素。但可以归纳为以下几个方面：一是农产品收购价格水平。二是农业剩余劳动力转移水平。三是城市化、工业化水平。四是农业产业结构状况。五是农业投入水平。考虑到复杂性和可行性，所以对农业投入与农民收入，本文暂不作讨论。因此，以全国为例，把农民收入与各影响因素关系进行线性回归分析，并建立数学模型。 一、计量经济模型分析 (一)、数据搜集 根据以上分析，我们在影响农民收入因素中引入7个解释变量。即：2x -财政用于农业的支出的比重，3x -第二、三产业从业人数占全社会从业人数的比重，4x -非农村人口比重，5x -乡村从业人员占农村人口的比重，6x -农业总产值占农林牧总产值的比重，7x -农作物播种面积，8x —农村用电量。
资料来源《中国统计年鉴2006》。 (二)、计量经济学模型建立 我们设定模型为下面所示的形式： 利用Eviews 软件进行最小二乘估计，估计结果如下表所示： DependentVariable:Y Method:LeastSquares Sample: Includedobservations:19 Variable Coefficient t-Statistic Prob. C X1 X3 X4 X5 X6 X7 X8 R-squared Meandependentvar AdjustedR-squared 表1最小二乘估计结果 回归分析报告为： () ()()()()()()()()()()()()()()() 2345678 2? -1102.373-6.6354X +18.2294X +2.4300X -16.2374X -2.1552X +0.0100X +0.0634X 375.83 3.7813 2.066618.37034 5.8941 2.77080.002330.02128 -2.933 1.7558.820900.20316 2.7550.778 4.27881 2.97930.99582i Y SE t R ===---=230.99316519 1.99327374.66 R Df DW F ====二、计量经济学检验 (一)、多重共线性的检验及修正 ①、检验多重共线性 (a)、直观法 从“表1最小二乘估计结果”中可以看出，虽然模型的整体拟合的很好，但是x4x6
Logistic 回归模型 1 Logistic 回归模型的基本知识 1.1 Logistic 模型简介 主要应用在研究某些现象发生的概率p ，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率 p 与那些因素有关。显然作为概率值，一定有10≤≤p ，因此很难用线性模型描述概率p 与自变量的关 系，另外如果p 接近两个极端值，此时一般方法难以较好地反映p 的微小变化。为此在构建p 与自变量关系的模型时，变换一下思路，不直接研究p ，而是研究p 的一个严格单调函数)(p G ，并要求)(p G 在p 接近两端值时对其微小变化很敏感。于是Logit 变换被提出来： p p p Logit -=1ln )( （1） 其中当p 从10→时，)(p Logit 从+∞→∞-，这个变化范围在模型数据处理上带来很大的方便， 解决了上述面临的难题。另外从函数的变形可得如下等价的公式： X T X T T e e p X p p p Logit ββ β+= ?=-=11ln )( （2） 模型(2)的基本要求是，因变量（y ）是个二元变量，仅取0或1两个值，而因变量取1的概率) |1(X y P =就是模型要研究的对象。而T k x x x X ),,,,1(21 =，其中i x 表示影响y 的第i 个因素，它可以是定性变量也可以是定量变量，T k ),,,(10ββββ =。为此模型(2)可以表述成： k x k x k x k x k k e e p x x p p βββββββββ+++++++= ?+++=- 11011011011ln （3） 显然p y E =)(，故上述模型表明) (1) (ln y E y E -是k x x x ,,,21 的线性函数。此时我们称满足上面条件 的回归方程为Logistic 线性回归。 Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic 变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。 定义1 称事件发生与不发生的概率比为 优势比(比数比 odds ratio 简称OR)，形式上表示为 OR= k x k x e p p βββ+++=- 1101 （4） 定义2 Logistic 回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称
%%S V M神经网络的回归预测分析---上证指数开盘指数预测 %% 清空环境变量 function chapter14 tic; close all; clear; clc; format compact; %% 数据的提取和预处理 % 数据是一个4579*6的double型的矩阵,每一行表示每一天的上证指数 % 6列分别表示当天上证指数的开盘指数,指数最高值,指数最低值,收盘指数,当日交易量,当日交易额. load ; % 提取数据 [m,n] = size(sh); ts = sh(2:m,1); tsx = sh(1:m-1,:); % 画出原始上证指数的每日开盘数 figure; plot(ts,'LineWidth',2); title(,'FontSize',12); xlabel(,'FontSize',12); ylabel('开盘数','FontSize',12); grid on; % 数据预处理,将原始数据进行归一化 ts = ts'; tsx = tsx'; % mapminmax为matlab自带的映射函数 % 对ts进行归一化 [TS,TSps] = mapminmax(ts,1,2); % 画出原始上证指数的每日开盘数归一化后的图像 figure; plot(TS,'LineWidth',2); title('原始上证指数的每日开盘数归一化后的图像','FontSize',12); xlabel(,'FontSize',12); ylabel('归一化后的开盘数','FontSize',12); grid on; % 对TS进行转置,以符合libsvm工具箱的数据格式要求 TS = TS'; % mapminmax为matlab自带的映射函数 % 对tsx进行归一化 [TSX,TSXps] = mapminmax(tsx,1,2); % 对TSX进行转置,以符合libsvm工具箱的数据格式要求
Logistic 回归分析报告结果解读分析 Logistic 回归常用于分析二分类因变量（如存活和死亡、患病和未患病等）与多个自变量的关系。比较常用的情形是分析危险因素与是否发生某疾病相关联。例如，若探讨胃癌的危险因素，可以选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群有不同的临床表现和生活方式等，因变量就为有或无胃癌，即“是” 或“否”，为二分类变量，自变量包括年龄、性别、饮食习惯、是否幽门螺杆菌感染等。自变量既可以是连续变量，也可以为分类变量。通过Logistic 回归分析，就可以大致了解胃癌的危险因素。 Logistic 回归与多元线性回归有很多相同之处，但最大的区别就在于他们的因变量不同。多元线性回归的因变量为连续变量；Logistic 回归的因变量为二分类变量或多分类变量，但二分类变量更常用，也更加容易解释。 1. Logistic 回归的用法 一般而言，Logistic 回归有两大用途，首先是寻找危险因素，如上文的例子，找出与胃癌相关的危险因素；其次是用于预测，我们可以根据建立的Logistic 回归模型，预测在不同的自变量情况下，发生某病或某种情况的概率（包括风险评分的建立）。 2. 用Logistic回归估计危险度 所谓相对危险度（risk ratio , RR）是用来描述某一因素不同状态发生疾病（或其它结局）危险程度的 比值。Logistic回归给出的OR（odds ratio）值与相对危险度类似，常用来表示相对于某一人群，另一人群发生终点事件的风险超出或减少的程度。如不同性别的
胃癌发生危险不同，通过Logistic回归可以求出危险度的具体数值，例如1.7，
二分类Logistic 回归模型 在对资料进行统计分析时常遇到反应变量为分类变量的资料，那么，能否用类似于线性回归的模型来对这种资料进行分析呢？答案是肯定的。本章将向大家介绍对二分类因变量进行回归建模的Logistic 回归模型。 第一节 模型简介 一、模型入门 在很多场合下都能碰到反应变量为二分类的资料，如考察公司中总裁级的领导层中是否有女性职员、某一天是否下雨、某病患者结局是否痊愈、调查对象是否为某商品的潜在消费者等。对于分类资料的分析，相信大家并不陌生，当要考察的影响因素较少，且也为分类变量时，分析者常用列联表(contingency Table)的形式对这种资料进行整理，并使用2 χ检验来进行分析，汉存在分类的混杂因素时，还可应用Mantel-Haenszel 2 χ检验进行统计学检验，这种方法可以很好地控制混杂因素的影响。但是这种经典分析方法也存在局限性，首先，它虽然可以控制若干个因素的作用，但无法描述其作用大小及方向，更不能考察各因素间是否存在交互任用；其次，该方法对样本含量的要求较大，当控制的分层因素较多时，单元格被划分的越来越细，列联表的格子中频数可能很小甚至为0，将导致检验结果的不可靠。最后，2 χ检验无法对连续性自变量的影响进行分析，而这将大大限制其应用范围，无疑是其致使的缺陷。 那么，能否建立类似于线性回归的模型，对这种数据加以分析？以最简单的二分类因变量为例来加以探讨，为了讨论方便，常定义出现阳性结果时反应变量取值为1，反之则取值为0 。例如当领导层有女性职员、下雨、痊愈时反应变量1y =，而没有女性职员、未下雨、未痊愈时反应变量0y =。记出现阳性结果的频率为反应变量(1)P y =。 首先，回顾一下标准的线性回归模型： μ11m m Y x x αββ=+++L 如果对分类变量直接拟合，则实质上拟合的是发生概率，参照前面线性回归方程 ，很 自然地会想到是否可以建立下面形式的回归模型： μ11m m P x x αββ=+++L 显然，该模型可以描述当各自变量变化时，因变量的发生概率会怎样变化，可以满足 分析的基本要求。实际上，统计学家们最早也在朝这一方向努力，并考虑到最小二乘法拟合时遇到的各种问题，对计算方法进行了改进，最终提出了加权最小二乘法来对该模型进行拟合，至今这种分析思路还偶有应用。 既然可以使用加权最小二乘法对模型加以估计，为什么现在又放弃了这种做法呢？原因在于有以下两个问题是这种分析思路所无法解决的： （1）取值区间：上述模型右侧的取值范围，或者说应用上述模型进行预报的范围为整 个实数集(,)-∞+∞，而模型的左边的取值范围为01P ≤≤，二者并不相符。模型本身不能
%% SVM神经网络的回归预测分析---上证指数开盘指数预测 % %% 清空环境变量 function chapter14 tic; close all; clear; clc; format compact; %% 数据的提取和预处理 % 载入测试数据上证指数(1990.12.19-2009.08.19) % 数据是一个4579*6的double型的矩阵,每一行表示每一天的上证指数 % 6列分别表示当天上证指数的开盘指数,指数最高值,指数最低值,收盘指数,当日交易量,当日交易额. load chapter14_sh.mat; % 提取数据 [m,n] = size(sh); ts = sh(2:m,1); tsx = sh(1:m-1,:); % 画出原始上证指数的每日开盘数 figure; plot(ts,'LineWidth',2); title('上证指数的每日开盘数(1990.12.20-2009.08.19)','FontSize',12); xlabel('交易日天数(1990.12.19-2009.08.19)','FontSize',12); ylabel('开盘数','FontSize',12); grid on; % 数据预处理,将原始数据进行归一化 ts = ts'; tsx = tsx'; % mapminmax为matlab自带的映射函数 % 对ts进行归一化 [TS,TSps] = mapminmax(ts,1,2); % 画出原始上证指数的每日开盘数归一化后的图像 figure; plot(TS,'LineWidth',2); title('原始上证指数的每日开盘数归一化后的图像','FontSize',12); xlabel('交易日天数(1990.12.19-2009.08.19)','FontSize',12);
SPSS--回归-多元线性回归模型案例解析！(一） 多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为： 毫无疑问，多元线性回归方程应该为： 上图中的x1, x2, xp分别代表“自变量”Xp截止，代表有P个自变量，如果有“N组样本，那么这个多元线性回归，将会组成一个矩阵，如下图所示： 那么，多元线性回归方程矩阵形式为： 其中：代表随机误差，其中随机误差分为：可解释的误差和不可解释的误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样） 1：服成正太分布，即指：随机误差必须是服成正太分别的随机变量。 2：无偏性假设，即指：期望值为0 3：同共方差性假设，即指，所有的随机误差变量方差都相等 4：独立性假设，即指：所有的随机误差变量都相互独立，可以用协方差解释。 今天跟大家一起讨论一下，SPSS---多元线性回归的具体操作过程，下面以教程教程数据为例，分析汽车特征与汽车销售量之间的关系。通过分析汽车特征跟汽车销售量的关系，建立拟合多元线性回归模型。数据如下图所示：
点击“分析”——回归——线性——进入如下图所示的界面：
将“销售量”作为“因变量”拖入因变量框内，将“车长，车宽，耗油率，车净重等10个自变量拖入自变量框内，如上图所示，在“方法”旁边，选择“逐步”，当然，你也可以选择其它的方式，如果你选择“进入”默认的方式，在分析结果中，将会得到如下图所示的结果：（所有的自变量，都会强行进入） 如果你选择“逐步”这个方法，将会得到如下图所示的结果：（将会根据预先设定的“F统计量的概率值进行筛选，最先进入回归方程的“自变量”应该是跟“因变量”关系最为密切，贡献最大的，如下图可以看出，车的价格和车轴跟因变量关系最为密切，符合判断条件的概率值必须小于0.05，当概率值大于等于0.1时将会被剔除）
收稿日期：2018年8月16日，修回日期：2018年9月28日 作者简介：孙耀航，男，硕士研究生，研究方向：机器视觉与模式识别。刘萍，女，教授，研究方向：软件工程与机器学习。? 1引言 今年“两会”的政府工作报告中，再一次提到 “加快推进新型城镇化”的重要课题。随着我国城镇化建设不断推进，私家车数量以及车辆里程数的不断提高，交通拥堵愈发严重；严重的拥堵增加了车辆能耗，会造成严重的资源浪费和环境污染［1］。为了提升对现有交通设施的利用效率，缓解交通压力，提高能源使用效率，降低环境污染，从20世纪60年代开始，以智能交通管理系统为代表的智能 交通系统（ITS ）［2］ 得到了广泛关注。在智能交通管 理系统中，人们有望对路口车辆的数量进行实时监控，并且根据当前各方向车辆数量，对红绿灯的转 换时间进行即时调整。这一改进无疑可以减少车辆的等待时间，从而降低拥堵，减少污染。而相比于需要在地下放置传感器（比如地磁线圈）的智能交通灯，基于路口交通视频处理的交通灯更能有效利用现有的资源（路口监控摄像头），成本更低，也易于修理维护。 在传统的交通系统中，终端（红绿灯、摄像头等）采集到的左右信息都传回控制中心，由控制中心对终端统一“发号施令”。但是，如果所有视频流都传输回中心进行处理，不仅会浪费网络带宽，并且传输过程中的丢帧也会使视频分析变得非常困难。所以，在终端对视频进行分析就变得十分有必要。而因为终端处理器的性能有限，这就要求我们 基于SVM 的回归模型路口车辆计数方法 ? 孙耀航 刘 萍 （中国人民解放军陆军军官学院基础部计算中心 合肥 230031） 摘 要 论文提出了一种利用监控视频对路口车辆进行计数的新的方法。针对路口车辆交通拥堵、遮挡程度高、移动 速度缓慢、车行有规律等特征，提出基于回归模型的路口监控视频车辆计数算法。首先对监控视频进行处理，从中提取车流特征。之后，利用SVM 对实时道路车辆密度进行辨别，并根据辨别结果，对密度高或低的情况分别应用不同的回归模型进行计数。最后，以实地采集的路口交通视频对该方法进行了验证。实验结果表明，该方法可以在实现较高准确率的基础上，占用较少的计算资源，对路口监控视频的车流进行计数。 关键词 SVM ；回归模型；车辆计数 中图分类号 O213 DOI ：10.3969/j.issn.1672-9722.2019.02.038 A Crossroad Vehicle Counting Method Based on SVM-based Regression Model SUN Yaohang LIU Ping （Basic Computing Center ，Chinese Peoples Liberation Army Academy ，Hefei 230031） Abstract In this article ，a novel method of vehicle counting using surveillance video employed on crossing roads is proposed. Since videos on crossing roads tend to present jammed traffic with heavy occlusion ，slow movement ，and are highly regular ，a count ?ing algorithm based on regression models is proposed.First the surveillance video to extract features from the video is processed. Then ，SVM is used to verify the vehicle density.Finally ，the method using real crossing road videos is tested.Experiments showed that this method is able to count the traffic with higher accuracy and lower computational costs. Key Words SVM ，regression model ，vehicle count Class Number O213 万方数据
SPSS 统计分析 多元线性回归分析方法操作与分析 实验目的： 引入1998~2008年上海市城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率和房屋空置率作为变量，来研究上海房价的变动因素。 实验变量： 以年份、商品房平均售价（元/平方米）、上海市城市人口密度(人/平方公里)、城市居民人均可支配收入(元)、五年以上平均年贷款利率(%)和房屋空置率(%)作为变量。 实验方法：多元线性回归分析法 软件：spss19.0 操作过程： 第一步：导入Excel数据文件 1.open data document——open data——open；
2. Opening excel data source——OK. 第二步： 1.在最上面菜单里面选中Analyze——Regression——Linear，Dependent （因变量）选择商品房平均售价，Independents（自变量）选择城市人口密度、城市居民人均可支配收入、五年以上平均年贷款利率、房屋空置率；Method选择Stepwise. 进入如下界面： 2.点击右侧Statistics，勾选Regression Coefficients（回归系数）选项组中的Estimates；勾选Residuals（残差）选项组中的Durbin-Watson、
Casewise diagnostics默认；接着选择Model fit、Collinearity diagnotics；点击Continue. 3.点击右侧Plots，选择*ZPRED（标准化预测值）作为纵轴变量，选择DEPENDNT（因变量）作为横轴变量；勾选选项组中的Standardized Residual Plots（标准化残差图）中的Histogram、Normal probability plot；点击Continue.