大数据发展白皮书（2015版）
中国电子信息产业发展研究院工业和信息化部赛迪智库
二○一五年四月
思想，还是思想
才使我们与众不同
《云计算发展白皮书（2015版）》
《大数据发展白皮书（2015版）》
《LED产业发展白皮书（2015版）》
《光伏产业发展白皮书（2015版）》
《软件产业发展白皮书（2015版）》
《计算机产业发展白皮书（2015版）》
研究，还是研究
才使我们见微知著
产业发展状况研究 产业经济价值分析
产业国际化发展研究
前言
2014年，大数据依然是全球范围内信息产业的焦点领域之一。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。开源技术逐步降低了企业进军大数据领域的门槛，加之数据量的规模化增长和应用场景的越发丰富，越来越多的企业加入大数据掘金浪潮，创业企业不断涌现，互联网巨头和传统IT厂商加速投资并购以争夺市场领袖地位。总体看来，大数据进入了从概念炒作向实际应用的关键转折期，面向不同行业的特色需求和用户的个性化需求，企业加快了技术、产品和应用模型的迭代速度，大数据市场竞争愈加激烈。
在此形势下，中国电子信息产业发展研究院编写了《大数据发展白皮书（2015版）》，全面梳理2014年全球和我国大数据发展情况，从创新进展、应用推广、企业发展、投融资、政策环境等方面概括总结大数据发展重点和特点，在此基础上分析我国大数据发展亟待解决的关键问题，对2015年大数据的发展前景进行了展望，并从技术创新、数据开放共享、应用推广、大数据管理、安全保障和法律法规等角度提出了新形势下的发展建议。
大数据发展白皮书（2015版）
目录
一、全球大数据发展状况 (1)
（一）市场规模 (1)
（二）市场结构 (2)
（三）主要特点 (3)
1．市场增速略有放缓，应用成为新的增长动力 (3)
2．竞争态势愈加激烈，融资并购成为市场热点 (3)
3．区域发展尚不均衡，信息化基础和数据资源是关键 (3)
4．产业生态不断优化，基础设施建设更加合理 (4)
二、我国大数据发展状况 (5)
（一）市场规模 (5)
（二）市场结构 (5)
1．初步形成三角形供给结构 (5)
2．产业链结构发展不均衡 (6)
（三）区域分布 (6)
1．京津冀：产业链条初步健全，集聚效应开始显现 (6)
2．长三角：开展布局城市增多，智慧城市、云计算成重要支撑 (7)
3．珠三角：政策扶持持续给力，产业发展进入良性循环 (7)
4．中西部：鼎足之势初现端倪，渐成产业发展新增长极 (8)
（四）主要特点 (8)
1．规模增速略有提高，与全球增速差距仍较大 (9)
2．互联网企业表现强势，国外企业进入我国市场 (9)
3．区域产业聚集现雏形，合作协同发展成常态 (9)
4．大数据基础研究受到重视，专业人才培养加速 (10)
三、创新进展 (11)
（一）技术与产品创新 (11)
1．Hadoop持续升温，生态系统不断壮大 (11)
2．创新体系日趋完善，新技术和新产品层出不穷 (13)
3．技术创新驱动向应用创新驱动转变 (15)
（二）发展模式创新 (16)
1．与云计算紧密结合 (16)
2．企业共同打造生态 (16)
3．商业模式创新缓慢 (16)
四、应用推广 (17)
（一）重点应用 (17)
1．政府数据资源丰富，应用需求旺盛 (17)
2．公共服务涉及面广，应用场景多样 (18)
3．企业级应用渐兴起，应用潜力巨大 (20)
（二）应用特点 (22)
1．各行业和各领域应用不断丰富 (22)
2．社会价值和经济效益得以体现 (22)
3．具有溢出效应的应用明显增多 (22)
4．模式创新和业务拓展尚显不足 (23)
五、企业发展 (24)
（一）总体发展状况 (24)
（二）国外主要企业发展状况 (24)
1．谷歌：大数据业务和应用多点开花 (24)
2．IBM：大数据领域合作风生水起 (25)
3．脸谱：大数据业务发展后劲十足 (27)
（三）国内主要企业发展状况 (28)
1．阿里巴巴：转变大数据战略，面向全球开放数据 (28)
2．百度：开放“大数据引擎”，推出多款软硬产品 (30)
3．腾讯：积累丰富数据类型，大数据官网上线 (31)
六、产业投融资 (33)
（一）国外投融资情况及特点 (33)
1．单笔融资并购规模明显提升 (33)
2．拥有成熟应用或核心技术的公司备受青睐 (34)
3．投资主体呈多元化发展态势 (36)
大数据发展白皮书（2015版）（二）国内投融资情况及特点 (36)
1．融资并购活动初步兴起 (36)
2．行业应用成为投融资热点 (36)
3．初创企业融资相对较难 (38)
七、政策环境 (39)
（一）主要国家和地区政策 (39)
1．美国：持续大力度支持，强化领先优势 (39)
2．欧盟：多途径加强合作，提升资金支持力度 (39)
3．日本：第三方广泛参与，支持行业应用发展 (40)
4．其他：数据开放先行，项目支持辅助 (41)
（二）我国及地方产业政策 (42)
1．相关领域政策频繁涉及大数据 (42)
2．国家重点科技项目均有支持 (43)
3．地方政策结合各自需求特色发展 (44)
八、主要问题 (46)
（一）战略规划缺位拖慢产业发展速度 (46)
（二）技术创新滞后阻碍产业发展进程 (46)
（三）企业级应用需要逾越的障碍较多 (46)
（四）信息安全和数据开放平衡体系亟待建立 (47)
（五）人才供血不足影响产业持续发展 (47)
九、2015年大数据发展展望 (48)
（一）总体发展展望 (48)
（二）创新态势展望 (48)
1．开源依然是技术创新发展的基石 (48)
2．技术和产品在应用需求的推动下加速创新 (49)
3．商业模式伴随连接层次的加深不断创新 (49)
（三）应用态势展望 (49)
1．政府应用逐步深入 (49)
2．工业大数据应用将成为热门领域 (50)
3．部分行业应用逐步成熟 (50)
4．应用模型迭代加速 (50)
（四）市场竞争展望 (51)
1．数据采集和跨界竞争越发白热化 (51)
2．数据存储和交易呈现平台化竞争趋势 (51)
3．数据分析和可视化呈现多样化、定制化竞争趋势 (51)
（五）投融资态势展望 (52)
1．创业企业不断涌现 (52)
2．融资并购事件频发 (52)
（六）政策态势展望 (52)
1．国家战略有望出台 (52)
2．各部委和地方政府加大扶持力度 (53)
3．国家试点示范工作有望全面开展 (53)
4．相关法律法规制定颁布困难较大 (53)
十、2015年我国大数据发展建议 (54)
（一）抓紧关键技术的突破创新 (54)
（二）推动政府数据资源开放共享 (54)
（三）加快协调推进大数据应用 (55)
（四）提升政府大数据管理水平 (55)
（五）增强信息安全保障能力 (55)
（六）加强法律法规和标准规范建设 (56)
附录 (57)
附录1：研究对象与范畴 (57)
附录2：大数据产业链各环节代表企业 (58)
大数据发展白皮书（2015版）一、全球大数据发展状况
（一）市场规模
大数据解决方案不断成熟，各领域大数据应用全面展开，为大数据发展带来强劲动力。Wikibon数据显示，2014年全球大数据市场规模达到285亿美元，同比增长53.2%。
大数据成为全球IT支出新的增长点。Gartner数据显示，2014年数据中心系统支出达1430亿美元，比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达2320亿美元，预计到2018年这一数据将增长三倍。
图1 2011-2017年全球大数据市场规模
73118
186
285
384
453
501
数据来源：Wikibon公司数据，2014.5
IDG调查显示，2014年大企业对与大数据有关的项目的平均开支为800万美元，70%的大企业和56％的中小企业已经部署或者正在计划部署与大数据有关的项目和计划。
（二）市场结构
2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。
图2 2011-2017年全球大数据细分领域市场规模及预测（单位：亿美元）
2011201220132014201520162017
2011 2012 2013 2014 2015 2016
数据来源：Wikibon公司数据，2014.5
大数据发展白皮书（2015版）
（三）主要特点
1．市场增速略有放缓，应用成为新的增长动力
2014，全球大数据市场规模实现53.2%的增长，比2013年57.6%的增速略有回落，但快速增长态势不变，且远快于整个信息和通讯技术市场增长速度。从Gartner 2014年最新的技术成熟度曲线中可以看出，大数据作为新兴领域，已经进入应用发展阶段，基础设施建设带来的规模性高速增长出现逐步放缓的趋势，技术创新和商业模式创新推动各行业应用逐步成熟，应用创造的价值在市场规模中的比重日益增大，并成为新的增长动力。
2．竞争态势愈加激烈，融资并购成为市场热点
2014年，全球新增大数据创业企业和开展大数据业务的企业数量急剧增加，产品和服务数量也随之增长，但还没有占据绝对主导地位的企业。市场结构趋向完全竞争，企业间竞争变得更加激烈，变化仍将持续。谷歌、亚马逊、脸谱等互联网企业龙头和甲骨文、IBM、微软等传统IT巨头，通过投资并购的方式不断加强大数据领域布局，初步形成贯穿大数据产业链的业务闭环，并在各行业拓展应用。
3．区域发展尚不均衡，信息化基础和数据资源是关键
2014年，全球大数据发展呈现两极分化的态势。欧美等发达国家拥有先发优势，处于产业发展领导地位，中国、日本、韩国、澳大利亚、新加坡等国家分别发挥各自在数据资源、行业应用、技术积累、政策扶持等方面的优势，紧紧跟随，并在个别领域处于领先。其他多数国家的大数据发展相对缓慢，还停留在概念炒作和基础设施建设阶段。在开源技术的支撑下，技术已不是大数据发展的最大障碍，信息
化基础和数据资源成为一个国家和地区大数据发展的关键要素。
4．产业生态不断优化，基础设施建设更加合理
2014年，Hadoop、Spark、Storm等开源技术得到更广泛的认可和应用，大数据技术生态圈形成。同时，各国政府、企业和产业组织非常重视大数据产业生态建立和环境优化，不断地通过建设基础设施，制定法律法规、政策体系和数据标准，加强数据安全和隐私保护等方法完善大数据生态环境，进而提升国家对数据资源的掌控能力和核心竞争力。美国、日本、韩国、澳大利亚等国家加强数据中心、宽带网络、无线网络、大数据研发中心和实验基地等基础设施建设。其中，美国政府为了提高数据中心的效率和推广大数据，将全国的数据中心进行整合，计划到2015年，联邦数据中心数量从2094个减少到1132，减少近46%。
大数据发展白皮书（2015版）二、我国大数据发展状况
（一）市场规模
2014年，我国大数据仍处于起步发展阶段，各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。易观国际数据显示，2014年，我国大数据市场规模达到75.7亿元，同比增长28.4%。图3 2011-2016年我国大数据市场规模
37.447.3
59
75.7
98.9
129.3
24.7%
201120122013201420152016
规模（亿元）增速
数据来源：易观国际数据，2015.1 （二）市场结构
1．初步形成三角形供给结构
2014年我国大数据市场的供给结构初步形成，并与全球市场相似，呈现三角形结构，即以百度、阿里、腾讯为代表的互联网企业，以华为、联想、浪潮、曙光、用友等为代表的传统IT厂商，以亿赞普、拓尔思、海量数据、九次方等为代表的大数据企业。
图4 2014年我国大数据市场供给结构图
数据来源：赛迪智库，2015.3
2．产业链结构发展不均衡
我国在大数据产业链高端环节缺少成熟的产品和服务。面向海量数据的存储和计算服务较多，而前端环节数据采集和预处理，后端环节数据挖掘分析和可视化，及大数据整体解决方案等产品和服务匮乏。 图5 2014年我国大数据产业链结构发展情况图
数据来源：赛迪智库，2015.3
（三）区域分布
1．京津冀：产业链条初步健全，集聚效应开始显现
2014年，京津冀地区在数据获取、数据存储、数据分析、数据
大数据整体解决方案/大数
据行业解决方案严重不足
大数据发展白皮书（2015版）应用、数据安全等产业环节涌现出一批领先企业和初创企业，通过技术研发不断地推出大数据相关产品，实现了从硬件到软件，从产品到服务的产业链覆盖，协同效应初步显现。年初，北京牵头打造京津冀地区大数据走廊，区域协同发展格局和产业集聚效应开始显现。北航、清华和中科院等高校已成立大数据研究中心，设立大数据相关专业，加速大数据人才培养。在高校、科研机构和企业、专业机构通过联盟等多种方式加强联合，产业协同创新氛围初步形成。
2．长三角：开展布局城市增多，智慧城市、云计算成重要支撑
2014年，随着数据资源的丰富，大数据应用需求的不断提升，基础设施的不断完善，以及大数据与各行业的融合发展，上海市在大数据技术研发和应用推广方面取得了一定的成果。同年，南京依托智慧城市建设，与百度、阿里等企业深入合作，推动大数据在城市管理和民生服务领域应用发展。杭州利用较完善的基础设施优势、龙头企业带动和数据开放的扶持政策，使大数据发展与云计算有机结合，成为当地信息经济发展的新增力量。
3．珠三角：政策扶持持续给力，产业发展进入良性循环
广东省在2014年2月成立全国第一个大数据管理机构——广东省大数据管理局，在年中确定了大数据应用示范工作，公布推荐示范项目名单，12月份发布了《广东省大数据发展规划（2015-2020年）》征求意见稿。广东省依托“天河二号”超级计算机建设国家大数据研究中心，研发突破大数据关键核心技术；发挥腾讯等公司的带动作用推动互联网大数据应用；广东省地税局用大数据推动管理现代化转型，检察院依靠大数据捕捉线索，交通部门应用大数据进行交通管理。广东省大数据的政策环境、技术研发、龙头企业引领、行业应用等协同
发展、互为支撑，推动产业进入良性循环。
4．中西部：鼎足之势初现端倪，渐成产业发展新增长极
2014年初，贵州省出台《贵州省大数据产业发展应用规划纲要（2014—2020年）》和《关于加快大数据产业发展应用若干政策的意见》，提出将大数据作为重点扶持的新支柱产业。贵安新区和贵阳市也出台相关政策措施。贵州省通过与国内其他园区、企业开展战略合作，积极引进大数据企业、互联网龙头、软件服务商，2014年签约大数据及关联重点项目150余个，签约金额超过1400亿元，京东、中兴、华为、惠普、富士康、世纪互联等数据基地及相关项目已启动建设。三大运营商各自的数据中心建设一期工程在年底交工使用，大幅提升贵州省大数据基础设施建设和使用能力。
2014年，重庆已在中上游打下坚实基础，大数据产业呈现出了良好的发展势头。2014年，重庆市先后与阿里巴巴、九次方大数据、华硕云端和东华软件等公司开展战略合作，积极引进中兴、惠普、法国源讯、日本NEC跨国企业等国内外行业巨头数十余家。亿赞普、苏宁、方欣科技等10多家公司与仙桃数据谷签署了入驻协议。重庆市在民生服务、城市管理、行业应用及外包服务等重点领域开展大数据示范应用,以示范应用引领产业快速发展。
2014年，武汉市政府出台《武汉市大数据产业发展行动计划（2014-2018）》。光谷云村和左岭大数据产业园完成规划设计及主要招商引资工作，并启动相关基础设施建设，吸引一批企业入驻。武汉政府开放数据平台在年内建成，首批33部门520个数据集向公众开放，2015年实现公众查询、下载等服务功能。武汉大学成立大数据工程硕士专业，加速大数据人才培养。
（四）主要特点
大数据发展白皮书（2015版）1．规模增速略有提高，与全球增速差距仍较大
数据显示，2014年我国大数据市场规模同比增长28.4%，比2013年24.7%的增速回升3.7个百分点，但与全球53.2%的增速仍有不小的差距。值得关注的是，全球大数据市场规模增速在未来几年呈现持续缓慢下降的趋势，而我国大数据市场规模增长速度在逐步提升。随着我国大数据快速发展，我国大数据市场规模在全球大数据市场规模中的比重将越来越大，并最终与全球增速保持同步。
2．互联网企业表现强势，国外企业进入我国市场
2014年，百度、阿里巴巴、腾讯、京东等互联网企业抓紧布局大数据领域，纷纷推出大数据产品和服务，抢占数据资源。传统IT 企业开始尝试涉足大数据领域，其产品和服务多是基于原有业务开展，未能撼动互联网公司的领先地位。初创企业受限于数据资源和商业模式，还要面对互联网企业的并购行为，竞争实力尚显不足。由于我国大数据领域的产业供给远小于市场需求，且已经出现的产品和服务在思路、内容、应用、效果等方面差异化程度不高，加之缺乏成熟的商业模式，导致大数据市场竞争不够充分。在国内企业考虑如何提升服务能力的时候，国外企业已经在2014年悄然进入我国市场，未来，国内大数据市场竞争格局将会发生重大转变。
3．区域产业聚集现雏形，合作协同发展成常态
2014年，我国大数据产业集聚发展效应开始显现，出现京津冀区域、长三角地区、珠三角地区和中西部四个集聚发展区，各具发展特色。北京依托中关村在信息产业的领先优势，快速集聚和培养了一批大数据企业，继而迅速将集聚势能扩散到津冀地区，形成京津冀大数据走廊格局。长三角地区城市将大数据与当地智慧城市、云计算发
展紧密结合，使大数据既有支撑又有的放矢，吸引了大批大数据企业。珠三角地区在产业管理和应用发展等方面率先垂范，对企业扶持力度大，集聚效应明显。大数据产业链上下游企业合作意愿强烈，各集聚区间的合作步伐加快，产学研协同创新发展初见成效。
4．大数据基础研究受到重视，专业人才培养加速
2014年，越来越多的高校成立大数据研究所、研究中心或实验室，不断加强大数据基础研究，并设立大数据专业，积极培养大数据相关人才。4月26日，清华成立数据科学研究院，并宣布将推出多学科交叉培养的大数据硕士项目，9月份，第一批大数据硕士学位研究生将正式开始培养。北京航空航天大学成立大数据科学与工程国际研究中心，作为布局大数据战略方向的另一重要举措，并创办了国内第一个“大数据科学与应用”软件工程硕士专业。华东师范大学成立云计算与大数据研究中心、厦门大学成立大数据挖掘研究中心并出版《大数据技术基础》教材、广西大学成立复杂性科学与大数据技术研究所等。
大数据发展白皮书（2015版）三、创新进展
（一）技术与产品创新
1．Hadoop持续升温，生态系统不断壮大
Hadoop作为大数据处理通用技术架构最受欢迎的技术，2014年依然是业界关注和应用的焦点，今年围绕HDFS和Yarn进行了四次版本更新。Gartner研究表明，到2015年，65%的分析应用程序和先进分析工具都将基于Hadoop平台。
表1 2014年Hadoop版本更新情况
更新版本更新内容
Hadoop 2.3.0 新特性包括支持HDFS的混合存储分级，可以集中管理HDFS 缓存数据，通过HDFS中的YARN分布式缓存简化MapReduce 些Bug修正。
Hadoop 2.4.0 包括HDFS支持ACL权限控制机制、容易升级、支持https ResourceManager因故障挂掉重启后，可以恢复之前正在运行的应用程序(用户不需重新提交)、增加了Yarn共享信息存储模块
Hadoop 2.5.0 新特性包括扩展文件属性、改进HDFS的Web UI，提升Yarn 存储模块ATS安全性，更丰富的YARN REST API等。
Hadoop 增加了基于HadoopKeyProvider API编写的密钥管理服务器
Key Management Server(KMS)、HDFS实现了一个透明的，端到端的加
数据来源：赛迪智库整理，2015.3
2014年，Hadoop的购买周期处于快速上升阶段，越来越的企业积极拥抱Hadoop，但大多数消费者还是倾向于采用专业厂商打包的一体化方案。目前，Hadoop解决方案领导厂商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、Pivotal软件和Teradata 等。
表2 2014年值得关注的Hadoop相关事件
与MapR合作，获得MapR软件、专业服务及客户支持服务的经销权。
最新推出的SQL扩展方案，实现一条SQL查询可从Cloudera
Oracle NoSQL数据库中调取数据。
部署了两个2万节点的Hadoop集群，能处理80PB数据。
Adobe 运用SAP Data Service将Hadoop数据加载到SAP内存数据库
资料来源：中国大数据网，2015.2 2014年，参与Apache Hadoop开源社区贡献的企业越来越多，Hadoop生态系统日渐壮大。据Gartner分析，2014年Hadoop生态系统市场规模在7700万美元左右，到2016年将快速增长至8.13亿美元。
表3 2014年Hadoop生态系统中值得关注的创业企业