大样本数据处理

第一章 大样本数据的处理方法实验1.3 . 数据的属性处理与综合评价建模方法1.3.1实验目的(1) 熟练掌握效益型、成本型、固定型、区间型数据处理的方法. (2) 掌握常见的建立客观性权向量的基本方法. (3) 掌握综合评价建模方法1.3.2 实验背景知识介绍设有n 个决策方案的集合：A={}TnT T A A A ,,,21 其中()im i i T i a a a A ,,,21 =是第i 个方案关于第m 项评价指标的指标值向量.于是我们可以得到n 个方案关于m 项评价指标的指标矩阵A=⎪⎪⎪⎪⎪⎭⎫⎝⎛nm n n m m a a a a a a a a a 212222111211其中ij a 表示第i 个方案关于第j 项评价因素的指标值.1、统一评价指标的属性通常评价指标分为效益型、成本型、固定型和区间型指标.而对各评价方案进行综合评价，必须首先统一评价指标的属性.我们用321,,I I I 分别表示效益型、成本型和固定型指标，对于指标矩阵A ，我们针对上述的几种指标建立效益型和成本型矩阵，即通过无量纲化，将矩阵的各元素均转化为效益型和成本型指标. （1）效益型矩阵⎪⎪⎩⎪⎪⎨⎧∈------∈--∈--==⨯321min max )(max )min max ()max ()min max ()min (,)(I a a a a a I a a a a a I a a a a a b b B ij j ij jj ij j ij j ij jij ij j ij jij ij j ij ij j ij jij j ij ij m n ij ααααm n ij d D ⨯=)(，⎪⎪⎩⎪⎪⎨⎧∈--∈∈=321.min .min max I a a a I a a a I a a a d ij j ij j ijj ij ij ij jij ij j ij ij αα 其中j α为第j 项指标的适度数值.（2）成本型矩阵m n ij e E ⨯=)(，⎪⎪⎩⎪⎪⎨⎧∈--∈∈=321max /max //.min I a a a I a a a I a a a e ij j ij j j ij ij ij jij ij ijij j ij αα ⎪⎪⎪⎩⎪⎪⎪⎨⎧∈------∈--∈--==⨯321)min (max min )min (max )min ()min max ()max (,)(I a a a a a I a a a a a I a a a a a c c C ij j ij j j ij j j ij j j ij ij jij jij ij j ij ij ij j ij j ij ij j ij m n ij αααα2、 建立客观性权向量的方法建立客观性权向量的方法有变异系数法：首先计算变异系数x s v i i /=，然后将其归一化就得到权向量. 夹角余弦法：利用[1]中的方法可得到各方案与理想最佳和最劣方案的相对偏差矩阵为m n ij u U ⨯=)(，m n ij v V ⨯=)(其中max max min ij ijjij ij ijjja a u a a -=- ；min max min ij ijjij ij ijjja a v a a -=-计算U ，V 的对应列向量的夹角余弦得到初始权重，归一化后得到客观性权向量. 3、计算各个方案的综合评价得分如果是成本型矩阵，则综合评价值越小排名越靠前；如果是效益型矩阵，则综合评价值越大排名越靠前.1.3.3实验内容【例1.6】 近年来我国淡水湖水质富营养化的污染日趋严重，表1.20、表1.21分别为我国五个湖泊的实测数据和湖泊水质评价标准. 利用距离判别法对上述五个湖泊的水质进行综合评估，确定水质等级.题目分析：（1）.建立无量纲化实测数据矩阵和评价标准矩阵根据表1.20和表1. 21，我们得到实测数据矩阵45)(⨯=ij x X 和等级标准矩阵54)(⨯=kt y Y⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡=23.05.013.102067.125.026.63022.05.44.1200.24.07.1010576.235.03.10130X ，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=60.420.131.006.002.017.055.04.212371.2710.78.136.009.06601102341Y 然后建立无量纲化实测数据矩阵：A =(a ij ) （i=1,2,3,4,5；j =1，2，3，4）按列归一化⎪⎩⎪⎨⎧=≠=3/min 3max /j x x j x x a ij ij jij j ij ij无量纲化等级标准矩阵 B =(b kt )， (k=1,2,3,4,；t=1,2,3,4,5)按行归一化⎪⎩⎪⎨⎧=≠=3/min 3max /k y y k y y b kt kt kkt k kt kt利用Matlab 我们得到：⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=0.0833 0.5000 0.9467 0.1538 0.6051 1.0000 0.5850 0.23080.0797 0.0556 0.1308 0.1538 0.7246 0.6250 1.0000 0.8077 1.0000 0.7143 0.9626 1.0000A⎪⎪⎪⎪⎪⎭⎫ ⎝⎛= 1.0000 0.2609 0.0674 0.0130 0.0043 1.00000.3091 0.0708 0.0142 0.0046 1.0000 0.2620 0.0664 0.0133 0.0033 1.0000 0.1667 0.0348 0.0061 0.0015 B （2）. 计算评价指标的权重首先计算矩阵B 的各行向量（指标值）的均值与标准差：4)(,5151251∑-=∑===j i ij i j ij i b s b μμ （i =1,2,3,4）然后计算变异系数：i i i s w μ/= （i =1,2,3,4）最后对变异系数归一化得到各指标的权向量为w=[ 0.2767 ，0.2444，0.2347 ，0.2442] 根据权重的大小，即可说明总磷、耗氧量、透明度和总氮四种指标对湖泊水质富营养化所起作用.由上可知，各指标的作用很接近，比较而言总磷所起作用最大，耗氧量、总氮次之、透明度的作用最小.（3）. 建立各湖泊水质的综合评价模型我们利用欧氏距离和绝对值距离进行建模.计算A 中各行向量到B 中各列向量的欧氏距离ij d （方案间）)5,4,3,2,1;5,4,3,2,1(,,)(412==∑-==j i b a d k kj ik ij若}{min 51ij j ik d d ≤≤=，则第i 个湖泊属于第k 级.（i =1,2,3,4,5）计算A 中各行向量到B 中各列向量的绝对值距离ij D∑-==41||k kj ik ij b a D若}{min 51ij j ik D D ≤≤=，则第i 个湖泊属于第k 级.（i =1,2,3,4,5）表1.22 欧氏距离判别表表1.23 绝对值距离判别表从上面的计算可知，尽管欧氏距离与绝对值距离意义不同，但是对各湖泊水质的富营养化的评价等级是一样的，表明我们给出的方法具有稳定性. 计算程序： %输入原始数据X=[130,10.30,0.35,2.76;105,10.70,0.40,2.0;20,1.4,4.5,0.22;30,6.26,0.25,1.67;20,10.13,0.50,0.23]; Y=[1,4,23,110 ,660;0.09 ,0.36,1.80,7.10,27.1;37,12,2.4,0.55,0.17;0.02,0.06,0.31,1.20,4.6]; %建立无量纲化的数据矩阵与无量纲等级矩阵 B1=Y(1,:)./660;B2=Y(2,:)./27.1; B3=0.17./Y(3,:); B4=Y(4,:)./4.6; B=[B1;B2;B3;B4] A1=X(:,1)./130; A2=X(:,2)./10.7; A3=0.25./X(:,3); A4=X(:,4)./2.76; A=[A1,A2,A3,A4];% 建立权向量b=B';因为行向量为指标值，所以要转置得到行向量为方案值的矩阵 t=s td(b)./mean(b); w=t/sum(t);% 计算绝对距离与欧氏距离 jd=dist(A,B),mjd=mandist(A,B),结果说明： (1) 此题也可以用夹角余弦法建立权向量，建议读者选取不同的方法建立权向量，比较判别结果；【例1.7】根据北京、上海、天津和云南四个城市的6项经济指标统计数据建立综合评价模型，对上述四个地区进行评估.表1.24 经济效益统计数据题目分析：在这些指标中，除了综合能耗和物耗是成本型指标外，其余指标均为效益型指标.我们计算步骤如下：(1) 计算各评价指标的客观性权重利用[1]中的方法可得到理想最佳和最劣方案为：u=(36.97,27.2,2.6,2.43,58.1,67.6),v=(23.92,20.4,1.17,7.92,68.7,54.55)相对偏差矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0.9502 0 1.0000 1.0000 0 1.0000 0.2759 1.0000 0.2131 0.4406 1.0000 0.6008 1.0000 0.9245 0 0 0.6324 0 0 0.8774 0.3862 0.4615 0.4632 0.6038R⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0.0498 1.0000 0 0 1.0000 0 0.7241 0 0.7869 0.5594 0 0.3992 0 0.0755 1.0000 1.0000 0.3676 1.0000 1.0000 0.1226 0.6138 0.5385 0.5368 0.3962 T 将上述两个矩阵的对应列向量的夹角余弦作为初始权重，归一化后得到客观性权向量：W=（0.2151 ，0.2148，0.2231，0.1774，0.0733，0.0962） (2) 建立效益型矩阵D B ,和成本型矩阵C ，E⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=0498.010*******.007869.05594.003992.000755.0113676.0111226.06138.05385.05368.03962.0B ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=8166.013068.04500.016470.09467.08457.06750.07577.07500.07879.08070.08557.0118419.0118620.05341.07462.08842.07869.0D ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=9502.0011012759.012131.04406.016008.019245.0006324.0008774.03862.04615.04632.06038.0C ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=9882.08457.0117500.018523.014545.05939.018211.019884.03068.04500.08908.06470.08070.09811.05745.06031.08482.08223.0E 其中 ⎪⎩⎪⎨⎧=--=--=5,4)min max ()max (6,3,2,1)min max ()min (j a a a a j a a a a b ij j ij j ij ij j ij j ij jij j ij ij （4,3,2,1=i ）⎪⎩⎪⎨⎧===5,4.min 6,3,2,1max j a a j a a d ij ij jij jij ij （4,3,2,1=i ）⎪⎩⎪⎨⎧=--=--=5,4)min max /()min (6,3,2,1)min max /()max (j a a a a j a a a a c ij j ij j ij j ijij j ij jij ij j ij⎪⎩⎪⎨⎧===5,4max /6,3,2,1/.min j a a j a a e ij j ijij ij jij （)4,3,2,1=i（3）计算综合评价值由矩阵B 、D 可得：∑=⋅=61j j iji w bH ，∑=⋅=61j j ij i w d F （4,3,2,1=i ）由矩阵C 、E 可得：∑=⋅=61j j iji w ch ， ∑=⋅=61j j ij i w e f （4,3,2,1=i ）表1.2 5综合评价值与排序从表2可以看出：对于两类不同的效益型矩阵和成本型矩阵，综合评估的结果完全一样，表明我们的方法具有较高的可靠性. 计算程序：A=[29.09 24.05 1.944.55 67.40 67.60 36.97 22.90 2.60 2.43 67.90 54.55 29.13 20.40 1.97 3.60 68.70 64.00 23.92 27.201.17 7.92 58.10 55.20];%理想最佳和最劣方案U=[max(A(:,1:3)),min(A(:,4:5)),max(A(:,6))] V=[min(A(:,1:3)),max(A(:,4:5)),min(A(:,6))] %相对偏差矩阵R=abs(A-ones(4,1)*U)./(ones(4,1)*range(A)) T=abs(A-ones(4,1)*V)./(ones(4,1)*range(A)) %建立权向量 r=normc(R); t=normc(T);w=sum((r.*t))/sum(sum(r.*t))%建立成本型矩阵与效益型矩阵B=[(A(:,1:3)-ones(4,1)*min(A(:,1:3))),(ones(4,1)*max(A(:,4:5))-A(:,4:5)),A(:,6)-min(A(:,6))]./(on es(4,1)* range(A))D=[A(:,1:3)./(ones(4,1)*max(A(:,1:3))),(ones(4,1)*min(A(:,4:5)))./A(:,4:5),A(:,6)/max(A(:,6))] %计算综合评价值 H=B*(w')F=D*(w')结果说明：(1) 计算程序中只给出了成本型矩阵B与效益型矩阵D的程序，C,E的程序请读者自己给出，相应的综合评价值的程序也请自行给出.(2) 如果是成本型矩阵，则综合评价值越小排名越靠前；如果是效益型矩阵，则综合评价值越大排名越靠前.1.3.4 练习1. 根据我国部分省、市、自治区电力消费量的数据统计，解决以下实际问题：(1) 哪些地区的电力消费量逐年增长？(2) 计算自治区之间的夹角余弦与欧氏距离、绝对距离，哪两个自治区最接近？(3) 将电力消费量从大到小排列，给出2000年的各地区排名(4) 将原始数据进行变换：(a) 各数据减去均值再比上标准差，(b) 各数据减去均值再比上极差，(c) 各数据比上均值表1.26分地区电力消费量（单位：亿千瓦小时）地区1990 1995 1999 2000 2001北京174.13 261.74 344.13 384.43 399.94天津124.15 178.99 211.19 234.05 247.94河北354.16 602.68 745.72 809.34 867.55山西255.47 399.16 459.34 501.99 557.58内蒙古121.82 186.83 236.77 254.21 280.89辽宁462.19 622.81 756.11 748.89 764.77吉林190.77 267.60 295.46 291.37 295.08黑龙江296.38 409.38 422.58 442.28 456.86上海264.74 403.27 501.20 559.45 592.98江苏411.81 684.80 848.74 971.34 1078.44浙江230.29 439.59 611.67 738.05 848.40安徽185.67 288.97 312.96 338.93 359.59福建136.66 261.28 355.26 401.51 439.19江西127.65 181.21 193.91 208.15 222.28山东448.69 741.07 805.47 1000.71 1104.53河南338.17 571.48 672.09 718.52 808.41湖北281.33 414.99 487.65 503.02 526.02湖南226.73 374.76 376.74 406.12 439.78广东359.00 787.66 1086.24 1334.58 1458.42广西125.58 220.77 289.06 314.44 331.92海南13.96 32.00 38.65 38.37 42.96重庆303.86 307.61 220.54四川350.23 582.85 462.26 521.23 589.57贵州103.21 203.70 274.22 287.78 335.19云南124.55 223.71 296.70 273.58 320.75陕西170.29 239.68 273.63 292.76 321.54甘肃177.84 241.06 291.58 295.33 306.09青海42.21 69.02 107.24 109.10 111.90宁夏55.02 92.38 115.32 136.17 151.81新疆69.99 119.67 169.30 182.98 197.92注：2000、2001是电力公司数2. 根据开发高新区技术企业主要经济指标，解决以下问题：(1) 计算各地区人均总产值、人均总收入和人均出口总额并与全国的平均作比较；(2) 总产值、人均总产值从大到小排列，两者排名向量的绝对距离是多少？(3) 以总产值、总收入、出口总额为评价指标建立综合评价模型对各开发区进行评价；(4) 以人均总产值、人均总收入、人均出口总额为评价指标建立综合评价模型对各开发区进行评价，如此得到的结果与(3)中的结果有何不同？对此你有何看法？(5) 用box-cox公式对原始数据作变换表1.28 开发高新区技术企业主要经济指标全国2761433 119284135 101167793 22664390北京282720 19864908 12558935 2928876天津113855 3832819 3227151 1134032 石家庄41504 1267797 1053351 100288保定36668 728747 700186 61018太原57871 1130051 1025280 73940包头31538 541004 479834 100983沈阳61543 3201592 1835767 329158大连81519 2107786 1391670 423152鞍山59621 1045661 952291 46953长春94984 2769444 2589852 212564吉林83022 2800544 2850054 38588 哈尔滨70129 1884145 1824274 144095大庆26223 817382 809712 12198上海73652 9394164 8378717 2512629南京53293 5104254 4390947 579174常州36063 1007976 999797 230445无锡49383 3785148 3101962 1400823苏州64551 3707141 3717248 2579484杭州24300 2342928 1884582 408727合肥42940 1351731 1069186 62165福州22670 1168191 1118540 232599夏门26200 1439294 1463737 723445南昌36941 809138 745018 29635济南42834 1590290 1348096 69886青岛38040 3736229 3816631 561789淄博55675 1365796 1401501 82658潍坊14491 728463 693006 24814威海36798 1066401 1046824 485620郑州36336 1013273 872032 101174 洛阳34912 639437 472495 37610 武汉100541 3335884 2874497 142184 襄樊39924 1008385 667766 9431 长沙64503 2468192 2188070 143626 株洲37109 805887 715286 121503 广州45167 2682206 1708097 310246 深圳82308 5955125 6309337 2530961 珠海30145 1092448 1071416 343966 惠州17737 1427902 1650524 919177 中山54398 1474272 1635215 1048949 佛山20980 1953135 1867576 493531 南宁24252 866373 615865 19829 桂林36546 700191 736295 60636 海南11430 411287 448484 27393 重庆76396 2928952 2763023 101689 成都101622 1927856 1521481 178520 绵阳39204 1300834 1364297 116102 贵阳27469 400164 441673 6630 昆明27623 917726 729701 124087 西安121434 3868631 2753010 175469 宝鸡34084 506550 529598 27334 杨凌3916 95821 55352 5743 兰州26592 705030 538411 17862 乌鲁木齐7777 209554 164146 11000。