CATEGORICAL DATA ANALYSIS
类别数据分析
Lecture 5
香港科技大学社会科学部
吴晓刚
2012年 6月
应用社会科学方法培训暨研讨班
上海大学
无序多重分类变量（Unordered Polytomous Variables）的相关模型
I. 多类别（Multinomial）Logit模型（MNL）
- 处理 K 种分类应变量的一种模型。
- 是一种把二分logit一般化的统计模型。
- 在面对K 种分类应变量时，此一模型其实首先是运算K-1 个彼此独立的logits 函数。
- 相对的回归系数，再由K-1个函数计算出来。
- 亦即MNL 模型就是由K-1 个二分的logits计算出来的。
1. 模型推导的说明：
※当B1≠0时，就成为条件Logit模型。
2. 例子：中国教育与职业成就的关系(1996数据)
－我们想知道教育对中国人民流动到不同职业或阶级的概率的影响。不同的阶级类别或是职业类别未必有明确的高低之分，因此我们用名义多重应变量来处理。
. use "C:\Documents and Settings\sowu\My
Documents\data\data_archives\CHINA\CHINA07.DTA", clear
. drop if sample>2
(383 observations deleted)
. recode educ_hiy -4/-1=.
(educ_hiy: 4 changes made)
. tab rcat_c
current |
activity: |
occupationa |
l | Freq. Percent Cum.
------------+-----------------------------------
Blank | 1 0.02 0.02
Not appl | 1,237 20.31 20.33
Agricult | 2,241 36.80 57.13
Unskille | 356 5.85 62.97
Skilled | 698 11.46 74.43
Sales,se | 509 8.36 82.79
Ord.offi | 206 3.38 86.17
Middle m | 120 1.97 88.14
High man | 63 1.03 89.18
Low prof | 310 5.09 94.27
Middle p | 100 1.64 95.91
High pro | 27 0.44 96.35
Entrepre | 154 2.53 98.88
Head,pvt | 27 0.44 99.33
Soldier, | 15 0.25 99.57
Other | 26 0.43 100.00
------------+-----------------------------------
Total | 6,090 100.00
. gen occup=rcat_c
. recode occup -4/0=. 1=1 2/4=2 5/7=3 8/10=4 *=. (occup: 3493 changes made)
. tab occup
occup | Freq. Percent Cum.
------------+-----------------------------------
1 | 2,241 48.40 48.40
2 | 1,56
3 33.76 82.16
3 | 389 8.40 90.56
4 | 437 9.44 100.00
------------+-----------------------------------
Total | 4,630 100.00
. label define occup 1 "farmer" 2 "worker" 3 "cadres" 4 "professional"
. label value occup occup
. tab occup
occup | Freq. Percent Cum.
-------------+-----------------------------------
farmer | 2,241 48.40 48.40
worker | 1,563 33.76 82.16
cadres | 389 8.40 90.56 professional | 437 9.44 100.00
-------------+-----------------------------------
Total | 4,630 100.00
【STATA学习提示】此时我们把样本区分为四种职业或阶级：农民（farmer）、工人（worker）、干部（cadres）与专家（professional）。以下父亲的职业亦同。
. recode sex 1=1 2=0
(sex: 3002 changes made)
. recode party 1=1 *=0
(party: 5381 changes made)
. gen age=96-birth
. gen foccup=fcat14
. recode foccup -4/0=. 1=1 2/4=2 5/7=3 8/10=4 *=.
(foccup: 2444 changes made)
. label value foccup occup
. tab foccup
foccup | Freq. Percent Cum.
-------------+-----------------------------------
farmer | 3,327 63.53 63.53
worker | 1,144 21.84 85.37
cadres | 363 6.93 92.30
professional | 403 7.70 100.00
-------------+-----------------------------------
Total | 5,237 100.00
【STATA学习提示】可以用“mlogit”命令来运行MNL模型。
. xi:mlogit occup i.foccup sex age educ_hiy party
i.foccup _Ifoccup_1-4 (naturally coded;
_Ifoccup_1 omitted)
Multinomial logistic regression Number of obs = 4095
LR chi2(21) = 2825.28
Prob > chi2 = 0.0000 Log likelihood = -3297.8183 Pseudo R2 = 0.2999
-----------------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- worker |
_Ifoccup_2 | 2.338695 .1211703 19.30 0.000 2.101206 2.576185
_Ifoccup_3 | 2.431827 .2570597 9.46 0.000 1.928 2.935655 _Ifoccup_4 | 1.546691 .1772718 8.72 0.000 1.199244 1.894137 sex | .2501335 .0872358 2.87 0.004 .0791545 .4211125 age | -.0223236 .0042812 -5.21 0.000 -.0307146 -.0139325 educ_hiy | .1541937 .013548 11.38 0.000 .1276401 .1807473 party | .4856943 .1772979 2.74 0.006 .1381967 .8331918 _cons | -1.330775 .2099156 -6.34 0.000 -1.742201 -.9193475 -------------+--------------------------------------------------------------- cadres |
_Ifoccup_2 | 2.370788 .1909137 12.42 0.000 1.996604 2.744972 _Ifoccup_3 | 3.145735 .3090356 10.18 0.000 2.540036 3.751434 _Ifoccup_4 | 1.989938 .2589668 7.68 0.000 1.482372 2.497503 sex | .2237663 .1604484 1.39 0.163 -.0907067 .5382394 age | .0522693 .0081586 6.41 0.000 .0362788 .0682598 educ_hiy | .5114292 .0302417 16.91 0.000 .4521566 .5707018 party | 2.49368 .1988683 12.54 0.000 2.103905 2.883454 _cons | -9.641521 .5213495 -18.49 0.000 -10.66335 -8.619695 -------------+--------------------------------------------------------------- professional |
_Ifoccup_2 | 1.734825 .1868753 9.28 0.000 1.368556 2.101094 _Ifoccup_3 | 2.503719 .2997918 8.35 0.000 1.916138 3.0913 _Ifoccup_4 | 1.852744 .2305647 8.04 0.000 1.400845 2.304642 sex | -.5751241 .1447004 -3.97 0.000 -.8587316 -.2915165 age | .0452549 .0079927 5.66 0.000 .0295895 .0609203 educ_hiy | .6947177 .0308963 22.49 0.000 .634162 .7552734 party | 1.406609 .215647 6.52 0.000 .9839482 1.829269 _cons | -10.10409 .5013371 -20.15 0.000 -11.08669 -9.121487 ----------------------------------------------------------------------------- (Outcome occup==farmer is the comparison group)
3. 解释统计结果：
a) 对一个男性来说，成为工人相对于成为农民的发生比Odds比女性高多少？
Exp(0.250)=1.28
“在控制其它因素之下，对一个男性来说，成为工人相对于成为农民的发生比Odds比女性高了28%。”
对一个党员来说，成为干部相对于成为农民的发生比Odds比非党员高多少？
Exp(2.49)=12.06
“在控制其它因素之下，对一个党员来说，成为干部相对于成为农民的发生比Odds比非党员高了11倍。”
每单位教育使之成为专家相对于成为农民的发生比，影响有多大？Exp(0.695)=2.00（试解释之！）
b) 妳该如何计算出党员这个因素，使之成为干部相对于成为专家的发生比，影响有多大？
Exp(2.49-1.41)=Exp(1.08)=2.94.
“在控制其它因素之下，党员这个因素，使中国人民成为干部相对
于成为专家的发生比，提高了将近两倍。”
对中国人来说，每增加一单位教育，使之成为专家相对于成为干部的发生比会提高多少？
Exp(0.695-0.511)=1.20
“在控制其它因素之下，对中国人民来说，每增加一单位教育，使
之成为专家相对于成为干部的发生比会提高20%。”
c) 概率的推测：
对一个四十岁、父亲是专家，而且受过大专以上教育(16 年以上教育)的男性非党员来说，成为专家的概率有多大？
【STATA学习提示】自行依据公式计算或者用STATA计算皆可，两者些微
的差距来自计算过程的误差：
exp(-10.1+1.85-0.58+0.045*40+0.695*16)/{1+ exp(-10.1+1.85-0.58+0.045*40+0.695*16)+ exp(-1.33+1.55+0.25-
0.022*40+0.15*16)+ exp(-9.64+1.99+0.22+0.052*40+0.51*16)} =0.706
. replace educ_hiy=16
(5976 real changes made)
. replace age=40
(5875 real changes made)
. predict p1-p4 if sex==1 & party==0 & foccup==4
(option p assumed; predicted probabilities)
(5937 missing values generated)
. list p1-p4
+-------------------------------------------+
| p1 p2 p3 p4 |
|-------------------------------------------|
2. | .0116009 .0892361 .1997174 .6994457 |
4. 绘图表现MNL的结果
对社会研究的读者来说，特别是像MNL这种复杂的模型，绘图简单表达作者的发现更容易被接受。以上述例子重做一个简单的例图。
. xi: mlogit occup educ_hiy party
Multinomial logistic regression Number of obs = 4629 LR chi2(6) = 2263.92 Prob > chi2 = 0.0000 Log likelihood = -4184.0994 Pseudo R2 = 0.2129 ----------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval]
-------------+--------------------------------------------------------
worker |
educ_hiy | .2525858 .0107659 23.46 0.000 .231485 .2736867
party | .2812906 .153832 1.83 0.067 -.0202145 .5827957
_cons | -2.085241 .0858456 -24.29 0.000 -2.253495 -1.916987
-------------+----------------------------------------------------------------
cadres |
educ_hiy | .512489 .0249899 20.51 0.000 .4635096 .5614683
party | 2.696897 .1680856 16.04 0.000 2.367455 3.026339
_cons | -6.486412 .2558443 -25.35 0.000 -6.987857 -5.984966
-------------+---------------------------------------------------------------- professional |
educ_hiy | .7069708 .0264826 26.70 0.000 .6550659 .7588757
party | 1.468642 .189151 7.76 0.000 1.097913 1.839371
_cons | -8.119783 .2851937 -28.47 0.000 -8.678753 -7.560814
------------------------------------------------------------------------------ (Outcome occup==farmer is the comparison group)
. predict p1-p4 if party==0
(option p assumed; predicted probabilities)
(713 missing values generated)
. predict q1-q4 if party==1
(option p assumed; predicted probabilities)
(5381 missing values generated)
. label var p3 "cadre for nonparty"
. label var p4 "professional for nonparty"
. label var q4 "professional for party"
. label var q3 "cadre for party"
. graph p3 q3 p4 q4 educ_hiy, c(ssss)
. version 7
. graph p3 q3 p4 q4 educ_hiy, c(ssss) border
此处我们关心的是在党员与非党员之间，教育对成为干部与成为专家的相对影响。
运用STATA的指令，作为比较基础的一类可以轻易地转换成以另一类为准。虽然在这种情况下，我们会运算出不同的相对回归系数与发生比率，但是概率的预测值不会变动。
【STATA学习提示】可以用“basecategory” 这个命令来改变对照的分类。
. xi: mlogit occup educ_hiy party, basecategory(2)
Multinomial logistic regression Number of obs = 4629
LR chi2(6) = 2263.92
Prob > chi2 = 0.0000 Log likelihood = -4184.0994 Pseudo R2 = 0.2129
-----------------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- farmer |
educ_hiy | -.2525858 .0107659 -23.46 0.000 -.2736867 -.231485
party | -.2812906 .153832 -1.83 0.067 .5827957 .0202145
_cons | 2.085241 .0858456 24.29 0.000 1.916987 2.253495
-------------+--------------------------------------------------------------- cadres |
educ_hiy | .2599032 .0240428 10.81 0.000 .2127802 .3070261
party | 2.415607 .1484204 16.28 0.000 2.124708 2.706505
_cons | -4.401171 .2529116 -17.40 0.000 -4.896868 -3.905473
-------------+--------------------------------------------------------------- professional |
educ_hiy | .454385 .0252504 18.00 0.000 .4048951 .5038749
party | 1.187351 .1678965 7.07 0.000 .8582803 1.516423
_cons | -6.034542 .2804212 -21.52 0.000 -6.584158 -5.484927
----------------------------------------------------------------------------- (Outcome occup==worker is the comparison group)
【STATA学习提示】可以用“rrr”这个命令直接得到取幂后的回归系数。
. xi: mlogit occup educ_hiy party sex, rrr
Multinomial logistic regression Number of obs = 4629
LR chi2(9) = 2311.38
Prob > chi2 = 0.0000 Log likelihood = -4160.3687 Pseudo R2 = 0.2174
-----------------------------------------------------------------------------
occup | RRR Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- worker |
educ_hiy | 1.284539 .013933 23.09 0.000 1.25752 1.31214
party | 1.282612 .1988149 1.61 0.108 .946569 1.737953
sex | 1.123035 .0830196 1.57 0.116 .9715578 1.298129
-------------+--------------------------------------------------------------- cadres |
educ_hiy | 1.66306 .0414078 20.43 0.000 1.58385 1.746231
party | 14.25549 2.4383 15.53 0.000 10.19507 19.93307
sex | 1.177422 .1650542 1.17 0.244 .894558 1.549730
-------------+--------------------------------------------------------------- professional |
educ_hiy | 2.046692 .0551504 26.58 0.000 1.941404 2.15769
party | 5.101431 .9878031 8.42 0.000 3.490372 7.456111
sex | .5041905 .0655423 -5.27 0.000 .3907893 .6504991
----------------------------------------------------------------------------- (Outcome occup==farmer is the comparison group)
5. 假设检验：
a) 检验个别回归系数统计上是否显著：
H0: βk, 1/r= βk, 2/r=…= βk, J/r=0
MNL模型适用Wald 或似然率（likelihood ratio）检验。
似然率（likelihood ratio）检验的作法
【STATA学习提示】似然率检验是模型与模型之间的比较，请回顾GLM一章比较重迭（nested）模型的相关介绍。
. xi: mlogit occup educ_hiy party sex
Multinomial logistic regression Number of obs = 4629
LR chi2(9) = 2311.38
Prob > chi2 = 0.0000 Log likelihood = -4160.3687 Pseudo R2 = 0.2174
-----------------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- worker |
educ_hiy | .2504002 .0108467 23.09 0.000 .2291412 .2716593
party | .2488984 .1550079 1.61 0.108 -.0549114 .5527082
sex | .1160346 .0739244 1.57 0.116 -.0288545 .2609238
_cons | -2.133546 .0918989 -23.22 0.000 -2.313665 -1.953428
-------------+--------------------------------------------------------------- cadres |
educ_hiy | .5086592 .0248986 20.43 0.000 .4598589 .5574595
party | 2.657142 .1710428 15.53 0.000 2.321905 2.99238
sex | .1633275 .1401827 1.17 0.244 -.1114256 .4380805
_cons | -6.547852 .2659248 -24.62 0.000 -7.069055 -6.026649
-------------+--------------------------------------------------------------- professional |
educ_hiy | .7162249 .0269461 26.58 0.000 .6634115 .7690383
party | 1.629521 .1936326 8.42 0.000 1.250008 2.009034
sex | -.684801 .1299951 -5.27 0.000 -.9395867 -.4300153
_cons | -7.883687 .2901731 -27.17 0.000 -8.452416 -7.314958
----------------------------------------------------------------------------- (Outcome occup==farmer is the comparison group)
去掉性别虚拟变量，再作一次MNL模型估计。
. xi: mlogit occup educ_hiy party
Multinomial logistic regression Number of obs = 4629
LR chi2(6) = 2263.92
Prob > chi2 = 0.0000 Log likelihood = -4184.0994 Pseudo R2 = 0.2129
-----------------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- worker |
educ_hiy | .2525858 .0107659 23.46 0.000 .231485 .2736867
party | .2812906 .153832 1.83 0.067 -.0202145 .5827957
_cons | -2.085241 .0858456 -24.29 0.000 -2.253495 -1.916987
-------------+--------------------------------------------------------------- cadres |
educ_hiy | .512489 .0249899 20.51 0.000 .4635096 .5614683
party | 2.696897 .1680856 16.04 0.000 2.367455 3.026339
_cons | -6.486412 .2558443 -25.35 0.000 -6.987857 -5.984966
-------------+--------------------------------------------------------------- professional |
educ_hiy | .7069708 .0264826 26.70 0.000 .6550659 .7588757
party | 1.468642 .189151 7.76 0.000 1.097913 1.839371
_cons | -8.119783 .2851937 -28.47 0.000 -8.678753 -7.560814
----------------------------------------------------------------------------- (Outcome occup==farmer is the comparison group)
. lrtest
Mlogit: likelihood-ratio test chi2(3) = 47.46
Prob > chi2 = 0.0000
当似然率检验的p<.005时，我们可以拒绝限制条件模型（restricted model），而接受未限制模型（non-restricted model）的结果，也就是性别这个自变量应该被放入模型。
Wald 检验的作法
Wald检验是针对个别变量检验，直接用“test” 这个命令：
. xi: mlogit occup educ_hiy party sex
(output suppressed)
. test sex
( 1) [worker]sex = 0
( 3) [professional]sex = 0
chi2( 3) = 46.79
Prob > chi2 = 0.0000
检验结果显示：性别差异显著地影响了职业成就。
b) 检验应变量的两种分类可否合并
若是多数自变量对于应变量当中的两类m与n之间（或数类之间）的发生比odds没有显著影响，我们可以说m跟n两类在我们的模型里没有区别。也就是，我们可以检验下列的假设：
H0: β1, m/n= β2, m/n=…= βk, m/n=0,
类似地，我们可以用Wald 或似然率LR检验来评估上述假设。若是既有的自变量对应变量之中的m与n两类都没有显著影响，我们可以考虑将两类合并成同一类，来增进模型估计的效率。这种检验亦称为「可迭性」 (collapsibility)的检验。
运用Wald 检验的作法
Wald检验直接用“test” 这个命令，加上【应变项类别】就是跟作为基础的一类做比较：. xi: mlogit occup educ_hiy party sex
(output suppressed)
. test [worker]
( 1) [worker]educ_hiy = 0
( 2) [worker]party = 0
( 3) [worker]sex = 0
chi2( 3) = 554.42
Prob > chi2 = 0.0000
Or
. test [2]
( 1) [worker]educ_hiy = 0
( 2) [worker]party = 0
chi2( 3) = 554.42
Prob > chi2 = 0.0000
若是检验结果与○没有显著区别，则上述自变量对成为工人或农民两类的发生比率odds ratio没有显著影响。因此，两者可以被合并成同一类。
很显然，我们的模型中虚无假设被拒绝了，事实上，三个自变量：教育、党员资格、性别，对中国人民成为工人或农民的发生比，都是有显著影响的。
若不想跟作为基础的一组比，用“test” 这个命令，加上【m=n】就是 m 跟 n 类做比较：
. test [3=4]
( 1) [cadres]educ_hiy - [professional]educ_hiy = 0
( 2) [cadres]party - [professional]party = 0
( 3) [cadres]sex - [professional]sex = 0
chi2( 3) = 118.65
Prob > chi2 = 0.0000
结论是这三个自变量：教育、党员资格、性别，对中国人民成为干部或专家的发生比，也是有显著的影响。
运用似然率检验来测试限制条件的作法
. xi: mlogit occup educ_hiy party sex
(output suppressed)
用命令“saving”将上述结果储存以待检验。
. lrtest, saving (0)
. constraint define 999 [worker]
. xi: mlogit occup educ_hiy party sex, constraint(999)
Multinomial logistic regression Number of obs = 4629
LR chi2(6) = 1600.67
Prob > chi2 = 0.0000 Log likelihood = -4515.7226 Pseudo R2 = 0.1506
( 1) [worker]educ_hiy = 0
( 2) [worker]party = 0
( 3) [worker]sex = 0
-----------------------------------------------------------------------------
occup | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+--------------------------------------------------------------- worker |
educ_hiy | (dropped)
party | (dropped)
sex | (dropped)
_cons | -.3603151 .0329549 -10.93 0.000 -.4249055 -.2957247
-------------+--------------------------------------------------------------- cadres |
educ_hiy | .3636438 .0226925 16.02 0.000 .3191674 .4081202
party | 2.501206 .1406229 17.79 0.000 2.22559 2.776821
sex | .0916971 .1331904 0.69 0.491 -.1693513 .3527455
_cons | -5.508597 .2489121 -22.13 0.000 -5.996455 -5.020738
-------------+--------------------------------------------------------------- professional |
educ_hiy | .5621048 .0251396 22.36 0.000 .5128321 .6113774
party | 1.479717 .1648398 8.98 0.000 1.156637 1.802797
sex | -.7642121 .1218229 -6.27 0.000 -1.002981 -.5254436
_cons | -6.740102 .2775677 -24.28 0.000 -7.284125 -6.196079
----------------------------------------------------------------------------- (Outcome occup==farmer is the comparison group)
在STATA中的Mlogit模型需要运用命令“constraint (999)”来指定并检验
限制条件的模型，依此可以直接得到「应该加入哪些限制条件」的检验结
果。最后，我们用 lrtest命令来运行出检验结果：
. lrtest
Mlogit: likelihood-ratio test chi2(3) = 710.71
Prob > chi2 = 0.0000
我们可以得到结论：限缩的模型是不恰当的，加入上述自变项的未限制模型表现较佳。
想要直接得出模型检验结果，我们可以从STATA网站上下载“mlogtest”命令的程序：在STATA键入“net search mlogtest”可打开网页，找
出下载程序的连结。想运用似然率检验时，可以加入“lrcomb” 指定LR检验方法。
用Wald test得到各组相比下不同自变项的差异：
. xi: mlogit occup educ_hiy party sex
(Output omitted)
Ho: All coefficients except intercepts associated with given pair of outcomes are 0 (i.e., categories can be collapsed). Categories tested | chi2 df P>chi2
------------------+------------------------
worker- cadres | 373.842 3 0.000
worker-professi | 404.724 3 0.000
worker- farmer | 554.420 3 0.000
cadres-professi | 118.648 3 0.000
cadres- farmer | 622.502 3 0.000
professi- farmer | 772.165 3 0.000
-------------------------------------------
用LR test得到各组相比下不同自变项的差异：
. mlogtest, lrcomb
**** LR tests for combining outcome categories
Ho: All coefficients except intercepts associated with given pair of outcomes are 0 (i.e., categories can be collapsed). Categories tested | chi2 df P>chi2
------------------+------------------------
worker- cadres | 468.783 3 0.000
worker-professi | 569.560 3 0.000
worker- farmer | 710.708 3 0.000
cadres-professi | 133.839 3 0.000
cadres- farmer | 1072.206 3 0.000
professi- farmer | 1400.985 3 0.000
-------------------------------------------
技能训练十一属性数据分析 一、训练目的与要求 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。 二、训练准备 1．训练数据：本训练数据保存于文件夹Exercise-11中。 2．预备知识：属性分析的方法。 三、训练步骤与内容 1．数据准备 将训练数据复制，粘贴至各自文件夹内。 启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析 执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供 的REGION.WP区文件 执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。
Step2: 属性 Step3: 选择分类属性字段为小麦，保留属性字段为乡名、水稻、玉米Step4: 设置分类方式为分段方式 Step5: 确定，退出设置 分类值域按图中所示输 入
分类统计结果图 3．保存文件 执行如下命令：文件?保存当前文件，换名保存属性分析所生成的图形文件，系统生成的表格文件（*.WB）不需要保存。 Step: 将缺省文件名改为“属性分析”，点 击保存按钮。按此方法依次将线、区 文件名均改为“属性分析” 4．文件组合 执行如下命令：图形处理?输入编辑?打开已有工程文件，打开所提供的Exercise-14.MPJ，在工程文件管理窗口，点击鼠标右键，选择“添加项目”选项，将前面生成的属性分析.WT、属性分析.WL、属性分析.WP添加进此工程文件。 关闭REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件。 执行如下命令：其它?整块移动，调整属性分析.WT、属性分析.WL、属性分析.WP三个图形文件的位置，使与主图位置相适应。若此三个图形与主图相比过大的话，执行如下命令：其它?整图变换?键盘输入参数，来进行调整（注意应确定REGION.WP、POINT.WT、RIVER.WL 和LINE.WL四个文件处于关闭状态）。
一、描述统计 描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率\回归法、决策树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数(如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数μ与已知的某一总体均数μ0 (常为理论值或标准值)有无差别； B 配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似； C 两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
A 虽然是连续数据，但总体分布形态未知或者非正态； B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。 三、信度分析 检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。 四、列联表分析 用于分析离散变量或定型变量之间是否存在相关。 对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。 列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量； 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以上的
数据分析中的变量分类 数据分析工作每天要面对各种各样的数据，每种数据都有其特定的含义、使用范围和分析方法，同一个数据在不同环境下的意义也不一样，因此我们想要选择正确的分析方法，得出正确的结论，首先要明确分析目的，并准确理解当前的数据类型及含义。统计学中的变量指的是研究对象的特征，我们有时也称为属性，例如身高、性别等。每个变量都有变量值，变量值就是我们分析的内容，它是没有含义的，只是一个参与计算的数字，所以我们主要关注变量的类型，不同的变量类型有不同的分析方法。 变量主要是用来描述事物特征，那么按照描述的粗劣，有以下两种划分方法： 按基本描述划分 【定性变量】：也称为名称变量、品质变量、分类变量，总之就是描述事物特性的变量，目的是将事物区分成互不相容的不同组别，变量值多为文字或符号，在分析时，需要转化为特定含义的数字。 定性变量可以再细分为： 有序分类变量：描述事物等级或顺序，变量值可以是数值型或字符型，可以进而比较优劣，如喜欢的程度：很喜欢、一般、不喜欢 无序分类变量：取值之间没有顺序差别，仅做分类，又可分为二分类变量和多分类变量二分类变量是指将全部数据分成两个类别，如男、女，对、错，阴、阳等，二分类变量是一种特殊的分类变量，有其特有的分析方法。多分类变量是指两个以上类别，如血型分为A、B、AB、O 【定量变量】：也称为数值型变量，是描述事物数字信息的变量，变量值就是数字，如长度、重量、产量、人口、速度和温度。 定量变量可以再细分 连续型变量：在一定区间内可以任意取值，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。如身高、绳子的长度等。 离散型变量：值只能用自然数或整数单位计算，其数值是间断的，相邻两个数值之间不再有其他数值，这种变量的取值一般使用计数方法取得。 按照精确描述划分 【定类变量】
LFA447数据分析向导 1．新建／打开数据库 打开分析软件Proteus LFA Analysis。弹出如下界面： 如果要把导入数据保存在原有的数据库中，选择数据库所在的文件夹，双击打开该数据库。 如果要为导入数据新建一个数据库，选择存盘路径，在“文件名”中输入数据库文件名，点击“打开”，软件会自动创建一个新的数据库文件。 随后出现数据库管理窗口：
注：LFA Proteus的数据以Access数据库文件（*.mdb）的形式进行管理。LFA447（Nanoflash）的原始数据文件（*.dat）需要导入到数据库文件中，一个数据库文件可存放多个测量数据。从数据分类管理的角度出发，一般建议为每一批样品单独创建一个数据库。 2.导入LFA447数据文件／设定材料属性 点击“LFA数据库”窗口的“数据库”菜单下的“导入LFA447文件”，弹出“选择导入文件”对话 框：
选择所要导入的数据文件，点击“打开”，弹出“导入–材料选择”对话框： 如果在数据库中原已有该材料的信息，只需在材料列表中“选择已有材料”即可；如果是新建的数据库或原数据库中没有该材料的信息，则“定义新材料”，点击“下一步”，弹出“材料定义”对话框： LFA Proteus中每一个测试数据都有相应的材料属性定义，包含样品的名称、密度、比热表、热膨胀系数表、热扩散系数表等信息，其中比热、热膨胀与热扩散系数三个表格可通过点击“对应表”按钮进行设定。对于单层样品： 如果仅仅是热扩散系数测试，三个表都不需链接，直接点击“完成”。 如果除热扩散测试外还同时使用比较法计算比热，则此时先可点击“完成”，待比热计算完成后使用“导出比热表”的方法重新对材料属性中所链接的比热表进行设定。（详见LFA比热与导热系数计算方法） 如果已有比热的文献值（或使用其它仪器得到的测量值），需要链接到材料属性中，以便结合热扩散测试结果进一步计算导热系数，则在“比热表”的选项卡中点击“对应表…”，弹出如下窗
各种分布 泊松分布 Poisson分布，是一种统计与概率学里常见到的离散概率分布。 泊松分布的概率函数为： 泊松分布的参数λ是单位时间(或单位面积、单位体积)内随机事件的平均发生率。泊松分布适合于描述单位时间内随机事件发生的次数。 泊松分布的期望和方差均为 特征函数为： 泊松分布与二项分布 当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中λ为np。通常当n≧10,p≦0.1时，就可以用泊松公式近似得计算。 事实上，泊松分布正是由二项分布推导而来的。 泊松分布可作为二项分布的极限而得到。一般的说，若 ,其中n很大， p很小，因而不太大时，X的分布接近于泊松分布。这个事实有时可将较难计算的二项分布转化为泊松分布去计算。 应用示例 泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，某放射性物质发射出的粒子，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。 卡方分布 卡方分布( 分布)是概率论与统计学中常用的一种概率分布。n 个独立的标准
正态分布变量的平方和服从自由度为n 的卡方分布。卡方分布常用于假设检验和置信区间的计算。 若n个相互独立的随机变量ξ?、ξ?、……、ξn ，均服从标准正态分布（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成 一新的随机变量，其分布规律称为卡方分布（chi-square distribution），即分布（chi-square distribution），其中参数n称为自由度。正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个分布。记为或者。 卡方分布与正态分布 卡方分布是由正态分布构造而成的一个新的分布，当自由度n很大时，分布 近似为正态分布。对于任意正整数x，自由度为 k的卡方分布是一个随机变量X 的机率分布。 期望和方差 分布的均值为自由度n，记为E( ) = n。分布的方差为2倍的自由度(2n)，记为D( ) = 2n。 均匀分布 均匀分布（Uniform Distribution）是概率统计中的重要分布之一。 顾名思义，均匀，表示可能性相等的含义。 (1) 如果，则称X服从离散的均匀分布。 (2) 设连续型随机变量X的概率密度函数为，则称随机变
实验十四属性数据分析 一、实验目的 1．掌握属性数据分析方法。 2．掌握属性数据分析图表与原图形的组合。 二、实验准备 1．实验数据：本实验数据保存于文件夹Exercise-14中。 2．预备知识：属性分析的方法。 三、实验步骤与内容 1．数据准备 将实验数据复制，粘贴至各自文件夹内。 启动MAPGIS主程序。在主菜单界面中，点击参数按钮，在弹出的对话框中，设置工作目录最终指向Exercise-14（盘符依据各人具体情况设置）。 2．属性分析 执行如下命令：空间分析?空间分析?文件?装载区文件，加载要进行属性分析的数据文件。 Step1: 加载数据文件中所提供 的REGION.WP区文件执行如下命令：属性分析?单属性分类统计?立体饼图，选择属性分析类型。
Step2: 属性 Step4: 设置分类方 式为分段方 式 Step3: 选择分类属 性字段为小 麦，保留属 性字段为乡 名、水稻、 玉米 Step5: 确定，退出 设置 分类值域按图中所示输 入
分类统计结果图 3．保存文件 执行如下命令：文件?保存当前文件，换名保存属性分析所生成的图形文件，系统生成的表格文件（*.WB）不需要保存。 Step: 将缺省文件名改为“属性分析”，点 击保存按钮。按此方法依次将线、区 文件名均改为“属性分析” 4．文件组合 执行如下命令：图形处理?输入编辑?打开已有工程文件，打开所提供的Exercise-14.MPJ，在工程文件管理窗口，点击鼠标右键，选择“添加项目”选项，将前面生成的属性分析.WT、属性分析.WL、属性分析.WP添加进此工程文件。 关闭REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件。 执行如下命令：其它?整块移动，调整属性分析.WT、属性分析.WL、属性分析.WP三个图形文件的位置，使与主图位置相适应。若此三个图形与主图相比过大的话，执行如下命令：其它?整图变换?键盘输入参数，来进行调整（注意应确定REGION.WP、POINT.WT、RIVER.WL和LINE.WL四个文件处于关闭状态）。 完成后，保存此工程文件。
属性数据与空间数据 1. 属性数据 地理要素具有描述性属性，与空间数据相对应的描述性数据。 2. 空间数据 空间数据是用来描述来自于现实的目标，将数据统一化，借以表明空间实体的形状大小以及位置和分布特征。定位是指在已知的坐标系里空间目标都具有唯一的空间位置；定性是指有关空间目标的自然属性，它伴随着目标的地理位置；时间是指空间目标是随时间的变化而变化；空间关系通常一般用拓扑关系表示。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。空间数据是数字地球的基础信息，数字地球功能的绝大部分将以空间数据为基础。现在空间数据已广泛应用于社会各行业、各部门，如城市规划、交通、银行、航空航天等。随着科学和社会的发展，人们已经越来越认识到空间数据对于社会经济的发展、人们生活水平提高的重要性，这也加快了人们获取和应用空间数据的步伐。 空间数据是数据的一种特殊类型。它是指凡是带有空间坐标的数据，如建筑设计图、机械设计图和各种地图表示成计算机能够接受的数字形式。 3. 空间数据结构 空间数据结构是空间数据在计算机内的组织和编码形式。它是一种适合于计算机存贮、管理和处理空间数据的逻辑结构，是地理实体的空间排列和相互关系的抽象描述。它是对数据的一种理解和解释。空间数据结构又是指空间数据的编排方式和组织关系。空间数据编码是指空间数据结构的具体实现，是将图形数据、影像数据、统计数据等资料按一定的数据结构转换为适合计算机存储和处理的形式。不同数据源采用不同的数据结构处理，内容相差极大，计算机处理数据的效率很大程度取决于数据结构。 4. 特点 目标构成数据库的逻辑过程 随着信息技术的飞速发展和企业界新需求的不断提出，以面向事务处理为主的空间数据库系统已不能满足需要，信息系统开始从管理转向决策处理，空间数据仓库就是为满足这种新的需求而提出的空间信息集成方案，它有四个特点： ①主题与面向主题：与传统空间数据库面向应用进行数据组织的特点相对应，空间数据仓库中的数据是面向主题进行数据组织的。它在较高层次上将企业信息系统中的数据进行综合、归类,并加以抽象地分析利用。 ②集成的数据：空间数据仓库的数据是从原有的空间数据库数据中抽取来的。因此在数据进入空间数据仓库之前，必然要经过统一与综合，这一步是空间数据仓库建设中最关键最复杂的一步，所要完成的工作包括消除源数据中的不一致性和进行数据综合计算。 ③数据是持久的：空间数据仓库中的数据主要供决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。空间数据仓库的数据反映的是一段相当长的时间内的数据内容，是不同时间的空间数据库快照的集合和基于这些快照进行统计、综合和重组导出的数据，而不是联机处理的数据。空间数据库中进行联机处理的数据经过集成输入到空间数据仓库中，一旦空间数据仓库存放的数据已经超过空间数据仓库的数据存储期限，这些数据将从空间数据仓库中删去。 ④数据是随时间不断变化的：空间数据仓库的数据是随时间的变化不断变化的，它会不断增加新的数据内容,不断删去旧的数据内容,不断对数据按时间段进行综合。空间数据仓库用于支撑空间决策支持系统，它由四大部分组成：数据源、空间数据库系统、空间
数据属性 数据具有数值属性、物理属性。在数据处理上数据又具有集合性、隶属性、稳定性、方便性、重复性、共同性、指向性以及运算规则及运算约束。我们先看一个命题，求一个苹果和一个梨的和？由于它们的物理属性不同，我们不能求出它们的和。再看命题现在有一个苹果和一个梨，问是否满足3个人，每人一个苹果或梨，由于物理属性转移到“人”概念下的“个”，所以必须先进行加法运算，其结果是分析命题的依据。数据是复杂的，它可以是任何介质上所记录的信息，比如我们可以对文字信息进行拷贝、连接、检索、删除，都是数据概念下的操作。 详细解释 进行各种统计、计算、科学研究或技术设计等所依据的数值。 柯岩《奇异的书简·船长》：“ 贝汉廷分析着各个不同的数据，寻找着规律，终于抓住了矛盾的牛鼻子。”数据（data）是载荷或记录信息的按一定规则排列组合的物理符号。可以是数字、文字、图像，也可以是计算机代码。对信息的接收始于对数据的接收，对信息的获取只能通过对数据背景的解读。数据背景是接收者针对特定数据的信息准备，即当接收者了解物理符号序列的规律，并知道每个符号和符号组合的指向性目标或含义时，便可以获得一组数据所载荷的信息。亦即数据转化为信息，可以用公式“数据+背景=信息”表示。 编辑本段计算机科学中的解释 数据：在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据经过加工后就成为信息。 在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。是组成地理信息系统的最基本要素，种类很多。 按性质分为 ①定位的，如各种坐标数据；②定性的，如表示事物属性的数据（居民地、河流、道路等）；③定量的，反映事物数量特征的数据，如长度、面积、体积等几何量或重量、速度等物理量；④定时的，反映事物时间特性的数据，如年、月、日、时、分、秒等。 按表现形式分为
数据挖掘中客户的特征化及其划分(一) 摘要]良好客户关系已成为电子商务时代制胜的关键。在激烈的市场竞争中，客户关系管理逐渐成为企业关注的焦点。深入研究客户和潜在客户是在市场中保持竞争力的关键。本文通过对客户行为的特征化分析，以数据挖掘为分析工具，对客户关系管理进行了讨论，给出了相应的划分方法，使用这些划分方法，对客户进行分析是有意义的。 关键词]客户关系管理数据挖掘聚类分析 一、引言 在激烈的市场竞争中，客户关系管理(CustomerRelationshipManagement)逐渐成为各企业关注的焦点。一个成熟的CRM系统要能够有效地获取客户的各种信息，识别客户与企业间的关系及所有交互操作，寻找其中的规律，为客户提供个性化的服务，为企业决策提供支持。 在企业与客户的交互操作中，“二八原则”是值得借鉴的，即20%的客户对企业做出80%的利润贡献。但究竟谁是那20%的客户？又如何确定特定消费群体的消费习惯与消费倾向，进而推断出相应消费群体或个体下一步的消费行为？这都是企业需要认真研究的问题。 二、客户的特征化及其划分 企业认识客户和潜在客户是在市场保持竞争力的关键。特征分析是了解客户和潜在客户的极好方法，包括对感兴趣对象范围进行一般特征的度量。一旦知道带来最大利润客户的特征和行为，就可以直接将其应用到寻找潜在客户之中。有效寻找客户，认识哪些人群像自己的客户。因此，在争取客户的活动中，对感兴趣对象进行特征化及其划分是很有意义的。 对客户的特征化，顾名思义就是用数据来描述或给出客户（潜在客户）特征的活动。特征化可以在数据库（或数据库的不同部分）上进行。这些不同部分也称为划分，通常他们互不包含。 划分分析（SegmentationAnalysis）通常用于根据利润和市场潜力划分客户。如：零售商按客户在所有零售商店的总体购买行为，将客户划分为若干描述他们各自购买行为的区域，这样零售商可以评估哪些客户有最大利润。划分是把数据库分成互不相交部分或分区的活动。一般有两种方法：市场驱动法和数据驱动法。市场驱动法需要决定那些对业务有重要影响的特征，即需要预先选择一些特征变量（属性），以最终定义得到划分。数据驱动法是利用数据挖掘中的聚类技术或要素分析技术寻找同质群体。 三、数据挖掘的概念 数据挖掘(DataMining)是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。通过数据挖掘提取的知识表示为概念、规则、规律、模式等，它对企业的趋势预测和行为决策提供支持。 1.分类分析 分类是指将数据映射到预先定义好的群组或类。分类要求基于数据属性值来定义类别，通过数据特征来描述类别。根据它与预先定义好的类别相似度，划分到某一类中去。分类的主要应用是导出数据的分类模型，然后使用模型预测。 2.聚类分析 聚类是对抽象样本集合分组的过程。与分类不同之处在于聚类操作要划分的类是事先未知。按照同一类中对象之间较高相似度原则进行划分，目的是使同一类别个体之间距离尽可能小，不同类别中个体间距离尽可能大。类的形成是由数据驱动的。 3.关联规则 关联规则是从大量的数据中挖掘出有价值的描述数据项之间相互关联的知识。关联规则中有两个重要概念：支持度（Support）和信任度(Confidence)。它们是两个度量有关规则的方法，描述了被挖掘出规则的有用性和确定性。关联规则挖掘，希望发现事务数据库中数据项之间的关联，这些规则往往能反映客户的购买行为模式。
第九章 列联分析 一、填空题 1、设R 为列联表的行数，C 为列联表的列数，则进行拟合优度检验时所用统计量2χ的自由度为 。 2、设0f 为列联表中观察值频数，e f 为期望值频数，则进行拟合优度检验时所用统计量2χ= 。 3、在列联分析中，观察值总数为n ，RT 为列联表中给定单元的行合计，CT 为给定单元列合计，则该给定单元频数期望值为 。 4、在列联分析中，观察值总数为500，列联表中给定单元的行合计数为140，列合计数为162，则该给定单元频数期望值为 。 5、在3×4列联分析中，统计量2 2 0()e e f f f χ-=∑（其中0f 为观测值频数，e f 为期望值频数）的自由度为____________。 6、对来自三个地区的原料质量进行检验时，先把它们分成三个等级，在随机抽取400间进行检验，经分析得知原料质量与地区之间的关系实现著的，现计算得2300χ=，则?相关系数等于 。 7、?相关系数是描述两个分类变量之间相关程度的统计量，它主要用于描述 的列联表数据。 8、若两个分类变量之间完全相关。则?相关系数的取值为 。 9、当列联表中两个变量相互独立时，计算的列联相关系数C= 。 10、利用2 χ分布进行独立性检验，要求样本容量必须足够大，特别是每个单元中的期望频数e f 不能过小，如果只有两个单元，则每个单元的期望频数必须 。 二、单项选择题 1、列联分析是利用列联表来研究（ ） A 、两个分类变量的关系 B 、两个数值型变量的关系 C 、一个分类变量和一个数值型变量的关系 D 、连个数值型变量的分布 2、设R 为列联表的行数，C 为列联表的列数，则进行拟合优度检验时所用统计量2χ的自由度为（ ） A 、R B 、 C C 、R ×C D 、（R-1）×（C-1） 3、若两个分类变量之间完全相关。则?相关系数的取值为（ ） A 、0 B 、小于1 C 、大于1 D 、1=? 4、当列联表中两个变量相互独立时，计算的列联相关系数C （ ） A 、等于1 B 、大于1 C 、等于0 D 、小于0 5、利用2χ分布进行独立性检验，要求样本容量必须足够大，特别是每个单元中的期望频数e f 不能过小，如果只有两个单元，则每个单元的期望频数必须（ ） A 、等于或大于1 B 、 C 值等于?值 C 、等于或大于5 D 、等于或大于10 6、一所大学准备采取一项学生上网收费的措施，为了解男女学生对这一措施的看法，分别抽取了150名男生和120名女生进行调查，得到结果如下： A 、48和39 B 、102和81 C 、15和14 D 、25和19 7、一所大学准备采取一项学生上网收费的措施，为了解男女学生对这一措施的看法，分别抽取了150名
属性数据分析复习题 一、 填空（每题4分，共20分） 1. 按数据取值分类，人的身高，性别，受教育程度分别属于计量数据，名义数据，有序数据 2. 度量定性数据离散程度的量有离异比率， G-S 指数，熵 3. 分类数据的检验方法主要有2χ检验和似然比检验 4. 二值逻辑斯蒂线性回归模型的一般形式是011ln 1k k p x x p βββ=+++- 5. 二维列联表的对数线性非饱和模型有 3 种 二、 案例分析题（每题20分，共60分） 1.P40习题二1，给出上分位数20.05(5)11.07χ= 0123456:0.3,0.2,0.2,0.1,0.1,0.1H p p p p p p ====== 220.0518.0567(5)11.07χχ=>=,落入拒绝域，故拒绝原假设，即认为这些数据与 消费者对糖果颜色的偏好分布不相符 2.P42表 3.1独立性检验，给出上分位数2 0.05(1) 3.84χ= 012:H p p =（即认为肺癌患者中吸烟比例与对照组中吸烟比例相等） 112:H p p ≠
未连续性修正的： 22 2 2112212210.051212()106(6011332)9.6636(1) 3.8463439214n n n n n n n n n χχ++++-?-?===>=??? 带连续性修正的： 22 11221221220.051212(||)106(|6011332|53)27.9327(1) 3.8463439214 n n n n n n n n n n χχ++++--?-?-===>=??? 均落入拒绝域，故拒绝原假设，即认为肺癌患者中吸烟比例与对照组中吸烟比例不等 3.P83表 4.3 独立性检验，给出上分位数2 0.05(2) 5.99χ= 0:ij i j H p p p ++=（即认为男性和女性对啤酒的偏好无显著性差异） 220.0590.685(2) 5.99χχ=>=，落入拒绝域，故拒绝原假设，即认为男性和女性对 啤酒的偏好有显著性差异 三、简答（每题10分） 1.谈谈你对p 值的认识 P 值是： 1) 一种概率，一种在原假设为真的前提下出现观察样本以及更极端情况的概率。 2) 拒绝原假设的最小显著性水平。 3) 观察到的(实例的)显著性水平。 4) 表示对原假设的支持程度，是用于确定是否应该拒绝原假设的另一种方法。 P 值（P value ）就是当原假设为真时所得到的样本观察结果或更极端结果出现的概率。如果P 值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P 值越小，我们拒绝原假设的理由越充分。总之，P 值越小，表明结果越显著。 统计学根据显著性检验方法所得到的P 值，一般以P < 0.05 为显著， P<0.01 为非常显著 2.写出三维列联表各种独立性之间的关系
属性数据分析 一属性变量和属性数据 通常所指属性数据(categorical data)，是说反映事物属性的数据，也称为定性数据或类别数据，它是属性变量取的值。属性变量可能是表示事物属性，取值为事物属性的量反映事物的客观属性，例如变量“性别”取值为男，女；又如变量是中医所分人的体质，取值为平和，气虚，阳虚，阴虚，瘀血，痰湿，湿热，气郁，特凛。对事物表态的量表达人们主观对事物的评论，例如变量是“某人对某个政策的态度”，取值是赞成，中立和反对；又如变量是“人对医疗效果的评价”，取值为特好，好，一般，差，很差。区间值变量取值为多个互不重叠区间：例如变量是“顾客的购买水平”，取值分为[0，100)，[100,200)，[200,300)和300以上。 “属性变量”是反映事物的客观属性或对事物表态，以及区间值变量，它是一种变量，它取的值之间不能做加，减，乘，除等运算，而且所取的值只能是有限个，属性变量取的值也称为属性变量的“水平”。 二属性数据表示形式 属性变量有4种表示形式：原始属性变量形式、指示变量形式（调查数据常用）、频数形式和列联表。 例1 某连锁超市要检验商品销售情况与陈列方式是否相关，随机抽取了10家门店，分别以C B A 、、共3种方式陈列（即第一个属性变量是“陈列方式”，取值A 、B 、C ），各门店销售情况分为 “high ”及“low ”两类（即第二个属性变量是“销量”，取值“high ”和“low ”）。这两个属性变量的统计资料4种形式如下： 属性变量形式的样本是把各个属性变量的1次观测值排成1行；例如例1中属性变量“销量”和“排列方式”的第1个观测值（第1个门店）的观测值是“high ”和“B ”，就把“high ”、“B ”排在第一行，见下表 表 超市数据属性变量形式 指示变量形式是列出各个属性变量的所有值，对每个值建立一个变量，例如例1中两个属性变量取值“high ”、“low ”、“A ”、“B ”、“C ”；建立5个指示变量：sl ，sh,ma,mb,mc.每次观测中，属性变量的哪个值出现了，就在对应列中用1表示，否则用0表示；例如对于超市数据建立5个变量后：sh 表示变量销售额高，sl 表示变量销售额低,ma 表示排列方式是A ，
属性数据分析第五章课后作业 6.为了解男性和女性对两种类型的饮料的偏好有没有差异，分别在年青人和老年人中作调查。调查数据如下： 试分析这批数据，关于男性和女性对这两种类型的饮料的偏好有没有差异的问题，你有什么看法？为什么？ 解：（1）数据压缩分析 首先将上表中不同年龄段的数据合并在一起压缩成二维2×2列联表1.1，合起来看，分析男性和女性对这两种类型的饮料的偏好有没有差异？ 表1.1 “性别×偏好饮料”列联表 二维2×2列联表独立检验的似然比检验统计量Λ 2的值为0.7032，p值 -ln 为05 ≥ = =χ p，不应拒绝原假设，即认为“偏好类型” (2> P 4017 .0 )1( ) .0 7032 .0 与“性别”无关。 （2）数据分层分析 其次，按年龄段分层，得到如下三维2×2×2列联表1.2，分开来看，男性和女性对这两种类型的饮料的偏好有没有差异？ 表1.2 三维2×2×2列联表
在上述数据中，分别对两个年龄段（即年青人和老年人）进行饮料偏好的调查，在“年青人”年龄段，男性中偏好饮料A 占58．73%，偏好饮料B 占41.27%；女性中偏好饮料A 占58．73%，偏好饮料B 占41.27%，我们可以得出在这个年龄段，男性和女性对这两种类型的饮料的偏好有一定的差异。同理，在“老年人”年龄段，也有一定的差异。 （3）条件独立性检验 为验证上述得出的结果是否可靠，我们可以做以下的条件独立性检验。 即由题意，可令C 表示年龄段，1C 表示年青人，2C 表示老年人；D 表示性别，1D 表示男性，2D 表示女性；E 表示偏好饮料的类型，1E 表示偏好饮料A ,2E 表示偏好饮料B 。欲检验的原假设为：C 给定后D 和E 条件独立。 按年龄段分层后得到的两个四格表，以及它们的似然比检验统计量Λ-ln 2的值如下： 2C 层 822.11ln 2=Λ-248.6ln 2=Λ- 条件独立性检验问题的似然比检验统计 量是这两个 似然比检验统计量的和，其值为 07.18822.11248.6ln 2=+=Λ- 由于2===t c r ，所以条件独立性检验的似然比检验统计量的渐近2χ分布的自由度为2)1)(1(=--t c r ，也就是上面这2个四格表的渐近2χ分布的自由度的和。由于p 值50.00011916)07.18)2((2=≥χP 很小，所以认为条件独立性不成立，即在年龄段给定的条件下，男性和女性对两种类型的饮料的偏好是有差异的。 （4）产生偏差的原因 a 、在（1）中，将不同年龄段的数据压缩在一起合起来后分析发现男性和女性在
论文撰写中要注意的统计学问题（转） （一、均值的计算 在处理数据时，经常会遇到对相同采样或相同实验条件下同一随机变量的多个不同取值进行统计处理的问题。此时，往往我们会不假思索地直接给出算术平均值和标准差。显然，这种做法是不严谨的。 这是因为作为描述随机变量总体大小特征的统计量有算术平均值、几何平均值和中位数等多个。至于该采用哪种均值，不能根据主观意愿随意确定，而要根据随机变量的分布特征确定。 反映随机变量总体大小特征的统计量是数学期望，而在随机变量的分布服从正态分布时，其数学期望就是其算术平均值。此时，可用算术平均值描述随机变量的大小特征；如果所研究的随机变量不服从正态分布，则算术平均值不能准确反映该变量的大小特征。在这种情况下，可通过假设检验来判断随机变量是否服从对数正态分布。如果服从对数正态分布，则几何平均值就是数学期望的值。此时，就可以计算变量的几何平均值；如果随机变量既不服从正态分布也不服从对数正态分布，则按现有的数理统计学知识，尚无合适的统计量描述该变量的大小特征。此时，可用中位数来描述变量的大小特征。 因此，我们不能在处理数据的时候一律采用算术平均值，而是要视数据的分布情况而定。 二、直线相关与回归分析这两种分析，说明的问题是不同的，既相互又联系。在做实际分析的时候，应先做变量的散点图，确认由线性趋势后再进行统计分析。一般先做相关分析，只有在相关分析有统计学意义的前提下，求回归方程才有实际意义。一般来讲，有这么两个问题值得注意： 定要把回归和相关的概念搞清楚，要做回归分析时，不需要报告相关系数；做相关分析的时候，不需要计算回归方程。 三、相关分析和回归分析之间的区别 相关分析和回归分析是极为常用的2种数理统计方法，在环境科学及其它研究领域有着广泛的用途。然而，由于这 2种数理统计方法在计算方面存在很多相似之处，因此在应用中我们很容易将二者混淆。
常用数据分析方法有那些 文章来源：ECP数据分析时间：2013/6/2813:35:06发布者：常用数据分析（关注：554） 标签： 本文包括： 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析； 问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a 信度系数分析、结构方程模型分析(structural equations modeling)。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。
消费者的患者属性之数据分析 一个人会拥有多种属性，而这些属性也会主导着一个人的心理活动与行为。我们做网络营销的需要洞悉患者的心理，明白患者的需要。因此，通过对市场上的人的属性的分析，有助于我们更好的理解市场的分布与需求，更精准的向患者推出我们的产品。 本培训以贵阳地区的数据为样本，正如培训上说的，一组数据说明不了什么，只有将各种数据结合起来才能看出数据背后隐藏的东西，下面说说我的想法（以抑郁症为例）。 首先，我最先关注的是有关年龄的数据。抑郁症的发病年龄主要是在35岁-45岁，成年人的发病率高于青少年。因此，我们的主要消费对象是以35岁-45岁的中年人为主。但是，数据中有指出：贵阳地区的网民10岁-29岁的占60.5%，其中19岁以下的占38%，这说明贵阳网民以青少年为主，而我们的主要对象中年人的比率较少。从这里可以明白，我们的网络营销想要直接做给消费者（中年人）看很困难，我们在策划时可以这样考虑：直接不行就间接地，我们的营销以面向青少年为主，并通过他们引导消费者（中年人）过来，这样的话比起以消费者（中年人）为对象的直接营销效果可能更好。 其次，我关注的是有关性别的数据。抑郁症的发病率男女比例是1:2左右，其中男性是12%，女性是25%，产后是33.1%，女性因为月经期、产后期、绝经期等生理现象导致其发病率高于男性。而数据显示：贵阳人口的男女比例是1:1，而15岁以下孩子占的比率是65岁以上老人的2倍左右。结合上面的发病年龄，可以得出：患者组建家庭的可能性较大，家庭内较大可能有孩子，并且女性更加常见。面对这样的消费者，我们要分析她们的消费心理，更多的从抑郁症对家庭的危害方面切入，更能打动消费者的心，引导她们治疗的欲望。 再者，是关于治愈率与复发率的数据。数据指出有62.9%的抑郁症患者没有接受任何治疗（这也是一个重要的营销点），首次治疗的治愈率只有35%。这项数据告诉我们：大部分的抑郁症患者处于未治疗或治疗不愈的状态。另一项数据则指出：抑郁症治愈后10年内的复发率是75%-80%，而其中药物治疗1年内的复发率是30%。它反映出一个信息：抑郁症的复发率高，特别是药物治疗的复发率。两项数据结合起来告诉我们：患者渴望一种新型的治疗方式，一种能够有效治疗抑郁症并防止其复发的治疗方法。我们在策划时可以结合这些数据着重突出技术的优势，并通过一些临床数据对比和经典案例来增加说服力。 最后，则是关于自杀率的数据。抑郁症之所以说是严重的精神疾病，就是因为在病情严重时它可能导致病人自杀。数据指出：抑郁症患者的自杀率是15%,而在每年的自杀人群中抑郁症所占的比率则是高达50%-70%。这项数据简单直接的告诉我们抑郁症的危害是多么严重，但患者不知道。因此，我们需要做的就是让患者明白抑郁症的严重危害，并引导患者的就医欲望。 我的分析就到此结束了。我想说：我们在策划时，对于市场的各项数据的分析是必须的。只有对数据进行分析，由此了解到市场的分布与需求，以及市场未来的可能的波动等等，再全面的结合我们的各种条件，统一规划下，我们所策划的营销才可能真正符合患者的需求，做出一个成功的营销方案。
属性数据分析第五章课后答案
属性数据分析第五章课后作业 6.为了解男性和女性对两种类型的饮料的偏好有没有差异，分别在年青人和老年人中作调查。调查数据如下： 偏好饮料A 偏好饮料B 年青人 男性 37 26 女性 11 23 老年人 男性 30 43 女性 31 11 试分析这批数据，关于男性和女性对这两种类型的饮料的偏好有没有差异的问题，你有什么看法？为什么？ 解：（1）数据压缩分析 首先将上表中不同年龄段的数据合并在一起压缩成二维2×2列联表1.1，合起来看，分析男性和女性对这两种类型的饮料的偏好有没有差异？ 表1.1 “性别×偏好饮料”列联表 偏好饮料A 偏好饮料B 合计 偏好A 比例 偏好B 比例 男性 67 69 136 49.26% 50.74% 女性 42 34 76 55.26% 44.74% 二维2×2列联表独立检验的似然比检验统计量Λ-ln 2的值为0.7032，p 值为05.04017.0)7032.0)1((2>=≥=χP p ，不应拒绝原假设，即认为“偏好类型”与“性别”无关。 （2）数据分层分析 其次，按年龄段分层，得到如下三维2×2×2列联表1.2，分开来看，男性和女性对这两种类型的饮料的偏好有没有差异？ 表1.2 三维2×2×2列联表 偏好饮料A 偏好饮料B 合计 偏好A 比 例 偏好B 比例 年青人 男性 37 26 63 58．73% 41.27% 女性 11 23 34 32．35% 67.65%
老年人 男性 30 43 73 41．10% 58.90% 女性 31 11 42 73．81% 26.19% 在上述数据中，分别对两个年龄段（即年青人和老年人）进行饮料偏好的调查，在“年青人”年龄段，男性中偏好饮料A 占58．73%，偏好饮料B 占41.27%；女性中偏好饮料A 占58．73%，偏好饮料B 占41.27%，我们可以得出在这个年龄段，男性和女性对这两种类型的饮料的偏好有一定的差异。同理，在“老年人”年龄段，也有一定的差异。 （3）条件独立性检验 为验证上述得出的结果是否可靠，我们可以做以下的条件独立性检验。 即由题意，可令C 表示年龄段，1C 表示年青人，2C 表示老年人；D 表示性别， 1D 表示男性，2D 表示女性；E 表示偏好饮料的类型，1E 表示偏好饮料A ,2E 表 示偏好饮料B 。欲检验的原假设为：C 给定后D 和E 条件独立。 按年龄段分层后得到的两个四格表，以及它们的似然比检验统计量Λ-ln 2的值如下： 1C 层 2C 层 822.11ln 2=Λ- 248.6ln 2=Λ- 条件独立性检验问题的似然比检验统计量是这两个似然比 检 验 统 计 量 的 和 ， 其 值 为 07.18822.11248.6ln 2=+=Λ- 由于2===t c r ，所以条件独立性检验的似然比检验统计量的渐近2χ分布的自由度为2)1)(1(=--t c r ，也就是上面这2个四格表的渐近2χ分布的自由度的和。由于p 值50.00011916)07.18)2((2=≥χP 很小，所以认为条件独立性不成立，即在年龄段给定的条件下，男性和女性对两种类型的饮料的偏好是有差异的。 1E 2E 合 计 1 D 37 26 63 2D 11 23 34 合计 48 49 97 1E 2E 合计 1D 30 43 73 2D 31 11 42 合计 61 54 115