社交网络的拓扑结构特性分析

第２９卷第５期　２０１４年１Ｏ月　平顶山学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｐｉｎｇｄｉｎｇｓｈａｎ　Ｕｎｉｖｅｒｓｉｔｙ　Ｖｏ１．２９　Ｎｏ．５　０ｃｔ．２０１４　

基于Ｓｐａｒｋ的社交网络特性分析　

邢立国，吕琼帅　

（平顶山学院软件学院，河南平顶山４６７０９９）　

摘　要：随着互联网对社会的持续渗透，社交网络得到了迅猛发展，也成为研究的一个热点．在大数据　时代，社交网络具有数据量极大的特点，传统的分析技术不能胜任．利用Ｓｐａｒｋ分布式计算系统，进行了社交网　络的特性分析．　关键词：Ｓｐａｒｋ；分布式；社交网络　中图分类号：ＴＰ３０２．７　文献标识码：Ａ　文章编号：１６７３—１６７０（２０１４）０５—００８０—０４　

０引言　

近些年，社交网络在国内外得到了快速发展．　

国外的社交网站Ｆａｃｅｂｏｏｋ成为全球访问量第一的　

网站．国内的微信截至２０１３年１１月用户数量突破　

６亿，其中活跃用户２．７亿．因此社交网络的研究　

极具科研价值和社会价值．　

因为社交网络数据的海量特征，需要引入分布　

式高性能计算系统进行数据处理和挖掘．笔者基于　

一种新型的分布式高性能计算系统进行社交网络　

的网络结构特性分析．　

１　Ｓｐａｒｋ高性能计算系统　

１．１传统Ｍａｐ—Ｒｅｄｕｃｅ计算框架　

传统的Ｍａｐ—Ｒｅｄｕｃｅ框架　］将一个任务的执　

行过程划分为两个阶段，即ｍａｐ阶段和ｒｅｄｕｃｅ阶　

段．在ｍａｐ阶段，每个ｍａｐ任务读取一个ｂｌｏｃｋ，并　

调用ｍａｐ函数进行处理，然后将结果写到本地磁　

盘上；在ｒｅｄｕｃｅ阶段，每个ｒｅｄｕｃｅ任务远程地从　

ｍａｐ任务所在节点上获取相关数据，并调用ｒｅｄｕｃｅ　

函数进行数据处理，最后将结果写入ＨＤＦＳ文件系　

统．从以上过程可以看出，ｍａｐ阶段和ｒｅｄｕｃｅ阶段　

的结果均要写磁盘，这虽然会降低系统性能，但可　

以提高可靠性．正是由于这个原因，传统的Ｍａｐ—　

Ｒｅｄｕｃｅ框架不能显式地支持迭代编程　］．一些研　究表明　－４　Ｊ，即使用户通过复杂的设计，在Ｍａｐ—　

江苏农业科学２０１３年第４１卷第１１期　一４ｌ７一　赵钢，周凌云，周桂良，等．农产品流通网络拓扑结构统计特性［Ｊ］．江苏农业科学，２０１３，４１（１１）：４１７—４２１　农产品流通网络拓扑结构统计特性　赵钢　，周凌云　，周桂良　，张浩　（１．淮阴工学院交通工程学院，江苏淮安２２３００３；２．南京航空航天大学民航学院，江苏南京２１００１６）　摘要：从实证角度出发，以度分布为主，研究农产品流通复杂网络的拓扑特征。选取具有代表性的农业区域建立　农产品流通复杂网络，考察该网络的拓扑结构特征，分析不同类型节点衔接农户的概率和农产品流通的链路选择特　性，研究农产品流通网络节点度分布规律，测算标度指数，并对其进行柯尔莫诺夫一斯米尔诺夫检验。　关键词：度分布；农产品流通网络；幂律；标度指数　中图分类号：Ｓ１１；Ｎ９４　文献标志码：Ａ　文章编号：１００２—１３０２ｆ２０１３）１１—０４１７—０５　近些年来，我国农产品价格频繁剧烈波动，农产品流通体　系与经济社会发展的矛盾日益激化。农产品流通系统是社会　系统中的一个重要子系统，关系着国计民生与经济社会可持　续发展。研究农产品流通系统的拓扑特征，有助于深入理解　农产品流通网络的结构特性、动力学特征，有助于揭示农产品　流通网络上商品、物资、信息、资金等流动介质的流通效率和　传播规律，对于创新农产品流通方式、降低农产品流通成本、　保障农产品供给、稳定农产品物价有着重要的意义。系统的　内部结构是其功能特性最主要的影响因素。许多现实系统的　结构可以用网络的形式表达出来，例如计算机网络、蛋白质结　构网络、合作网络等。人们通过多年的研究，认识到自然事物　或社会事物聚合形成的一定结构的自然网络、科技网络、社会　网络并不是随机联系在一起的。许多现实的网络结构的某些　结构特性具有惊人的相似性或一致性。这些规律特性的发现　大大推动了复杂网络的研究，使网络科学成为研究复杂系统　的主要工具之一。复杂网络的无标度概念提出之后…，人们　对大量的实际网络拓扑特征进行了广泛的实证研究。这些实　际网络的研究来源于社会领域网络　、信息领域网络　、　技术领域网络　和生物领域网络　。　。复杂网络度分布　特性是复杂网络拓扑结构的重要统计特征，对复杂网络的动　力学性质及其功能有着极其深刻的影响。目前，国内外部分　学者将复杂网络的研究成果应用到供应链研究中，但这些研　究大多是针对制造业产品的供应链进行的。农产品流通网络　的结构特点及其动力学特征与制造业商品流通网络存在很大　的差异。目前，缺乏应用复杂网络科学的理论研究农产品流　通网络结构特性的成果。笔者从实证研究出发，研究农产品　流通复杂网络拓扑结构特性，结果显示农产品流通复杂网络　符合幂律分布，具有无标度特征。笔者测算了农产品流通复　杂网络的标度指数，获取了农户销售农产品的平均销售渠道　宽度以及不同类型的流通节点衔接农户的概率和链路选择特　性。这些研究揭示出我国农产品流通网络的重要结构特性，　收稿日期：２ｏ１３—０４—２ｌ　基金项目：江苏省高校哲学社会科学基金（编号：２０１２ＳＪＢ６３０００６）；江　苏省社会科学基金（编号：１０ＥＹＤ０３１、１０ＥＹＩ）０２９）。　作者简介：赵钢（１９７７一），男，山西忻州人，博士研究生，讲师，研究　方向为供应链技术与系统管理。Ｅ—ｍａｉｌ：ｚｇｚｈａｏｇａｎｇ＠１６３．ｔｏｍ。　为研究农产品流通网络的发展演化、农产品流通网络的流通　效率和动力学特性提供了一定的研究基础。　１农产品流通复杂网络构建　目前，我国已经确立了农产品市场化的流通体制，农业产　业化企业、各类农民合作组织、国合商业组织、个体运销户以　及经纪人等多种经济成分的市场流通主体共同发展，多形式　的农产品流通渠道逐步形成。但是，随着我国经济社会的发　展，现有的农产品市场流通体系已不符合经济社会进一步发　展的要求，农产品价格频繁剧烈波动，经常出现滞销和买贵卖　难现象，严重损害了农产品生产者以及农产品流通主体的利　益，严重影响着城镇居民的生活，农产品流通体系的网络结构　存在的问题是造成这一现象的主要因素。　笔者所在的课题组选取苏北区域农产品流通结构进行深　入调研，因为苏北地区是我国农产品的重要生产区域，选择这　一区域进行研究具有一定的代表意义。本研究以江苏省淮安　市淮阴区袁集镇、新渡乡，清浦区城南乡、黄码乡以及江苏省　盐城市建湖县建阳镇、蒋营镇等乡镇的调研结果为有效样本，　绘制出农产品流通复杂网络图（图１）。　在农产品流通网络的实证研究中研究全局网络是不现实　的，也是不可能的，往往只能考察实际网络的局部，为了区别　实际全局网络而把所考察的网络称之为数据网络。在前述的　农产品数据网络中不可避免地存在一些孤立的节点，但在实　际的全局网络中是不可能有孤立节点的。经过大量调研发　现，在实际的农产品流通网络中，在一定时间长度内，度值为　１的节点也是几乎不存在的。因此，为了消除数据内在噪声。　笔者在进行数据分析时先后剥去网络０一壳和１一壳。　２农产品流通网络的平均度特性　节点的度是刻画网络节点属性的最重要的参数，网络中　所有节点的度的平均值是网络的平均度，记作＜ｋ＞。节点平　均度可以视作网络的０阶度分布特性　。给定网络Ｇ的邻　接矩阵Ａ＝（　）　ｘ　，则有ｋ　每ｎ　磊　，＜ｋ＞＝　ｊ￣＝ｌａ　＝　：　，其中　是网络的连边数。有向网络的节点的度包　括出度和入度。节点入度　＝　ｏ　，节点出度：Ｊ｝　＝王ｏ　。

1网络拓扑图结构类型优缺点分析

导读：

计算机网络拓扑图是用来表示计算机组成中网络之间设备的分布情况以及连接

状态的。在计算机网络设计中，网络拓扑结构的设计也显得尤为重要，其中第一

个需要解决的就是在给定计算机的位置，并且保证一定的网络响应时间、吞吐量

以及可靠性的条件下，再通过选择适当的路线、线路容量以及连接方式等，使整

个网络结构合理并耗费最低的成本。

在绘制网络拓扑图时，不管是局域网还是广域网，拓扑绘图的选择也要考虑到很

多要素。那么，在常见的几种结构类型中，应该如何选择呢?

1、星型拓扑结构：是由中央节点和通过点到点通信链路接到中央节点的各个站

点组成。

2优点：集中控制，结构简单灵活、建网容易，便于控制和管理，故障诊断和隔离

比较容易。

缺点：是中央结点负担较重，容易形成系统的“瓶颈”，线路的利用率也不高。

2、总线拓扑结构：是由一条高速主干电缆也就是总线跟若干节点进行连接而成

的网络形式。总线拓扑是使用最普遍的一种网络。

3优点：结构简单灵活，易于扩充，布线容易，使用方便，性能较好。

缺点：总线的传输距离有限，通信范围受到限制，而且总线故障将对整个网络产

生影响。

3、环型拓扑结构：环型拓扑网络由站点和连接站的链路组成一个闭合环，其信

息的传送是单向的，所以每个节点需要安装中继器，以此来接收、放大、发送信

号。 环型拓扑是局域网常采用的拓扑结构之一。

4优点：结构简单，建网容易，传输距离远，便于管理。

缺点：当结点过多时，将影响传输效率，不利于扩充，故障检测也比较困难。

4、树型拓扑结构：树型拓扑从总线拓扑演变而来，形状像一棵倒置的树，顶端

是树根，树根以下带分支，每个分支还可再带子分支。 树形拓扑结构是当前网

络系统集成工程中最常见的一种结构。

5优点：扩充方便、灵活，成本低，易推广，适合于分主次或分等级的层次型管理

系统。

缺点：资源共享能力较低，可靠性不高，而且各个节点对根的依赖性太大。

5、混合型拓扑结构：是由星型结构或环型结构和总线型结构结合在一起的网络

第９卷　第４期Ｖｏｌ．９Ｎｏ．４ 智　能　计　算　机　与　应　用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ ２０１９年７月　Ｊｕｌ．２０１９ 文章编号：２０９５－２１６３（２０１９）０４－０２０５－０４中图分类号：ＴＰ３９３．０２文献标志码：Ａ上海市地铁网络拓扑结构性质分析郑苏江（上海工程技术大学管理学院，上海２０１６２０）摘　要：本文基于复杂网络理论，将上海市现运行的１６条地铁线路在Ｓｐａｃｅ－Ｌ方法下建立模型，通过Ｕｃｉｎｅｔ软件初步绘制了地铁网络的拓扑结构图。根据站点邻接矩阵，运用Ｍａｔｌａｂ计算得出：绝大多数站点的度值为２，站点的度分布基本与泊松分布相似；超过９７％的站点聚类系数为０，所有站点的平均聚类系数极小，平均路径长度值为１５．１２，不具有小世界网络的特性；在双对数坐标下的站点累计度分布基本符合幂率分布，具有无标度网络的特性。关键词：复杂网络；Ｓｐａｃｅ－Ｌ；上海市地铁网ＡｎａｌｙｓｉｓｏｆｔｈｅｔｏｐｏｌｏｇｉｃａｌｓｔｒｕｃｔｕｒｅｏｆＳｈａｎｇｈａｉｍｅｔｒｏｎｅｔｗｏｒｋＺＨＥＮＧＳｕｊｉａｎｇ（ＳｃｈｏｏｌｏｆＭａｎａｇｅｍｅｎｔ，ＳｈａｎｇｈａｉＵｎｉｖｅｒｓｉｔｙｏｆＥｎｇｉｎｅｅｒｉｎｇＳｃｉｅｎｃｅ，Ｓｈａｎｇｈａｉ２０１６２０，Ｃｈｉｎａ）【Ａｂｓｔｒａｃｔ】Ｂａｓｅｄｏｎｔｈｅｃｏｍｐｌｅｘｎｅｔｗｏｒｋｔｈｅｏｒｙ，ｔｈｉｓｐａｐｅｒｅｓｔａｂｌｉｓｈｅｓｔｈｅｍｏｄｅｌｏｆ１６ｍｅｔｒｏｌｉｎｅｓｉｎＳｈａｎｇｈａｉｕｎｄｅｒｔｈｅＳｐａｃｅ－Ｌｍｅｔｈｏｄ，ｄｒａｗｓｔｈｅｐｒｅｌｉｍｉｎａｒｙｔｏｐｏｌｏｇｉｃａｌｓｔｒｕｃｔｕｒｅｄｉａｇｒａｍｏｆｔｈｅｍｅｔｒｏｎｅｔｗｏｒｋｔｈｒｏｕｇｈＵｃｉｎｅｔ，ａｎｄｃａｌｃｕｌａｔｅｓｂｙｕｓｉｎｇＭａｔｌａｂａｃｃｏｒｄｉｎｇｔｏｔｈｅａｄｊａｃｅｎｃｙｍａｔｒｉｘｏｆｓｔａｔｉｏｎｓ：ｔｈｅｄｅｇｒｅｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｍｏｓｔｓｔａｔｉｏｎｓｉｓ２，ｔｈｅｄｅｇｒｅｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｓｔａｔｉｏｎｓｉｓｂａｓｉｃａｌｌｙｓｉｍｉｌａｒｔｏｔｈａｔｏｆＰｏｉｓｓｏｎｄｉｓｔｒｉｂｕｔｉｏｎ；ｔｈｅｃｌｕｓｔｅｒｉｎｇｃｏｅｆｆｉｃｉｅｎｔｓｏｆｍｏｒｅｔｈａｎ９７％ｓｔａｔｉｏｎｓａｒｅ０，ａｎｄｔｈｅｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｅｄｅｇｒｅｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｍｏｓｔｓｔａｔｉｏｎｓｉｓｓｉｍｉｌａｒｔｏｔｈａｔｏｆＰｏｉｓｓｏｎｄｉｓｔｒｉｂｕｔｉｏｎ．Ｔｈｅａｖｅｒａｇｅｃｌｕｓｔｅｒｉｎｇｃｏｅｆｆｉｃｉｅｎｔｏｆｓｔａｔｉｏｎｓｉｓｖｅｒｙｓｍａｌｌ，ａｎｄｔｈｅａｖｅｒａｇｅｐａｔｈｌｅｎｇｔｈｉｓ１５．１２，ｗｈｉｃｈｄｏｅｓｎｏｔｈａｖｅｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｍａｌｌｗｏｒｌｄｎｅｔｗｏｒｋ．Ｔｈｅｃｕｍｕｌａｔｉｖｅｄｅｇｒｅｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆｓｔａｔｉｏｎｓｉｎｄｏｕｂｌｅｌｏｇａｒｉｔｈｍｉｃｃｏｏｒｄｉｎａｔｅｓｂａｓｉｃａｌｌｙｃｏｎｆｏｒｍｓｔｏｔｈｅｐｏｗｅｒｄｉｓｔｒｉｂｕｔｉｏｎａｎｄｈａｓｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｃａｌｅ－ｆｒｅｅｎｅｔｗｏｒｋ．【Ｋｅｙｗｏｒｄｓ】ｃｏｍｐｌｅｘｎｅｔｗｏｒｋ；Ｓｐａｃｅ－Ｌ；Ｓｈａｎｇｈａｉｍｅｔｒｏｎｅｔｗｏｒｋ󰀁哈尔滨工业大学主办系统开发与应用作者简介：郑苏江（１９９５－），男，硕士研究生，主要研究方向：管理科学、复杂网络。收稿日期：２０１９－０４－２５０　引　言自２０世纪末以来，伴随网络科学的飞速发展，尤其是在复杂网络的“小世界特性”以及“无标度特性”方面，世界范围内的专家学者开始对网络科学产生了浓厚的研究热情。随着研究范围的层层深入，很多专家学者也逐渐将研究兴趣指向了城市交通网络的复杂网络特性之中。Ｊｉａｎｇ［１］对比分析了不同城市的公路分布情况以及城市公路网络的小世界网络特性；Ｓｉｅｎｋｉｅｗｉｃｚ［２］实证研究了２２个城市的交通网络拓扑特性，研究结果表明那些城市的网络度分布不是服从幂律分布就是服从指数分布；Ｌａｔｏｒａ［３］以美国波士顿地铁为例，初步研究了该网络的小世界网络特性，并首次提出了一种网络构造法则，定义了网络效率等于２个地铁站（节点）之间距离的倒数，同时根据网络效率对其有效性和容错性作出衡量。在国内，郭露露［４］等对北京市地铁网络使用ＳｐａｃｅＬ方法构建拓扑网络模型，针对连通ＯＤ对和出行效率２个因素评估了该地铁网络的脆弱性，并对今后北京市地铁运营时防护措施的制定给予相关建议；李进［５］研究了国内多个大型城市的地铁网络拓扑特性，在总结这些城市的地铁网络共性的同时，与北京市地铁网络的鲁棒性进行对比研究；高天智［６］等以国内１０个典型城市作为研究样本，基于复杂网络理论对比分析了其网络拓扑特性，对微观及宏观特性表征指标进行了重点研究并总结出国内地铁网络的相关特征；孙军艳等［７］对西安市的公交网络、地铁网络及二者综合构成的复杂网络以Ｓｐａｃｅ－Ｌ的方式建立模型，对比分析了３类网络的统计特征及网络拓扑特性。本研究中涉及的上海市地铁网络具有节点（站点）数目较多、网络结构复杂等特点。因此，本文基于Ｓｐａｃｅ－Ｌ模型运用Ｕｃｉｎｅｔ、Ｍａｔｌａｂ、Ｏｒｉｇｉｎ等软件，初步绘制了上海市地铁网络拓扑结构图，计算了４３１个地铁站点的度、度分布、聚类系数、平均路径