南京邮电大学盐城大数据研究院成立于2015年5月，是由盐城市城南新区管委会和南京邮电大学共建的自收自支事业单位。位处城南新区智慧谷科技创新大厦。研究院将建成盐城发展大数据产业发展的智库，政府决策的智囊；大数据人才的培养基地；大数据相关产业的孵化基地，最终建成一个开放式的、涵盖不同产业领域的、产业化的研发平台、公共服务平台、人才聚集平台和产业孵化平台。
大数据产业链：
近些年，大数据已经和云计算一样，成为时代的话题。大数据是怎么产生的，商业机会在哪？研究机会在哪？这个概念孕育着一个怎样的未来？昨天在车库咖啡参加了一个小型的研讨活动，就这些问题进行了一些讨论，我结合自己的一些理解做一个总结。首先，大数据是怎么产生的？
1）物理世界的信息大量数字化产生的例如刘江老师指出的好大夫网，将医生的信息，门诊的信息等数字化。其实还有很多，比如新浪微博将茶馆聊天的行为（弱关系产生信息数字化），朋友聊天的行为数字化（强关系产生信息数字化）。视频监控探头将图像数字化。
2）社交网络产生的在雅虎时代，大量的都是读操作，只有雅虎的编辑做一些写操作的工作。进入web2.0时代，用户数大量增加，用户主动提交了自己的行为。进入了社交时代，移动时代。大量移动终端设备的出现，用户不仅主动提交自己的行为，还和自己的社交圈进行了实时的互动，因此数据大量的产生出来，并且具有了极其强烈的传播性。
数据都要保存所产生的一位嘉宾指出，旧金山大桥保留了百年的历史数据，在时间跨度上产生了价值，很多网站在早期对数据的重视程度不够，保存数据的代价很大，存储设备的价格昂贵，但是时代变了，存储设备便宜了，用户自己产生的数据得到了重视，数据的价值被重视了。因此越来越多的数据被持续保存。其次，大数据和大规模数据的区别？big data之前学术界叫very large data,大数据和大规模数据的差距是什么？我认为在英文中large的含义只是体积上的，而big 的含义还包含重量上的，价值量上的。
因此我认为：
1）大数据首先不是数量上的堆砌，而是具有很强的关联性结构性。比如有一种数据，记录了世界上每一颗大树每年长高的程度，这样的数据不具有价值，因为只是简单堆砌。如果数据变成，每一个大树记录它的，地点，气候条件，树种，树龄，周边动植物生态，每年长高的高度，那么这个数据就具有了结构性。具有结构性的数据首先具有极强的研究价值，其次极强的商业价值。在比如，淘宝的数据，如果只记录一个交易的买家，卖家，成交物品，价格等信息，那么这个商业价值就很有限。淘宝包含了，买家间的社交关系，购物前后的其他行为，那么这个数据将非常有价值。因此，只有立体的，结构性强的数据，才能叫大数据，才有价值，否则只能叫大规模数据。
2）大数据的规模一定要大，而且比大规模数据的规模还要大。要做一些预测模型需要很多数据，训练语料，如果数据不够大，很多挖掘工作很难做，比如点击率预测。最直白的例子，如果你能知道一
个用户的长期行踪数据，上网的行为，读操作和写操作。那么几乎可以对这个人进行非常精准的预测，各种推荐的工作都能做到很精准。最后，大数据的机会在哪里？对小公司的机会在哪？
围绕数据的整个产业链上，我认为具有以下机会：
1）数据的获得大量数据的获得，这个机会基本属于新浪微博等这类大企业，大量交易数据的获得，也基本属于京东，淘宝这类企业。小企业基本没机会独立得到这些用户数据。
2）数据的汇集例如如果你要能把各大厂商，各大微博，政府各个部门的数据汇集全，这个机会将是极大的。但，这个工作，做大了需要政府行为，做中档了，要企业间合作，做小了，也许就是一个联盟或者一个民间组织，比如中国爬盟。
3）数据的存储汇集了数据后，立即遇到的问题就是存储，这个代价极大，原始数据不能删除，需要保留。因此提供存储设备的公司，执行存储这个角色的公司，都具有巨大的市场机会，但是这也不属于小公司，或者早期创业者。
4）数据的运算在存储了数据以后，怎么把数据分发是个大问题，各种API,各种开放平台，都是将这些数据发射出去，提供后续的挖掘和分析工作，这个也需要有大资本投入，也不适合小公司。
5）数据的挖掘和分析数据需要做增值服务，否则数据就没有价值，big也big不到哪里去，是没有价值的big.因此这种数据分析和挖掘工作具有巨大的价值，这个机会属于小公司，小团体。
6）数据的使用和消费在数据做到了很好的挖掘和分析后，需要
把这些结果应用在一个具体的场合上，来获得回报，做数据挖掘和分析的公司，必须得找到这些金主才行，而这些金主肯定也不是小公司。大数据未来的形态，或者产业链结构一定是分层的，巨大的，价值的体现发生在各个层次，每个层次都是生态链的重要一环，都孕育着巨大的机遇和挑战，我们能做的唯有努力，做适合自己的工作。
大数据IT产业链和生态环境 调研报告
1目录 1 概述 (1) 2国内外大数据产业链现状 (1) 2.1 大数据产业链全景图 (1) 2.2 产业链上中下游 (3) 2.3 大数据产业链发展趋势 (4) 3产业链和生态环境的瓶颈和建议 (10) 3.1 大数据发展产业链和生态环境的瓶颈 (10) 3.2 大数据产业链和生态环境发展建议 (13) 4大数据人才与教育 (15) 4.1 教育与科研机构 (15) 4.2 课程体系 (21) 5国内外大数据政策与法规 (22) 5.1 国内外数据共享的政策与法规 (22) 5.2 国内外数据跨境的政策与法规 (27) 5.3 国内外隐私保护的政策与法规 (30)
2概述 马云曾经说过“人类正从IT时代走向DT时代。”随着大数据、云计算、移动互联网技术的不断发展，我们已经从信息社会已经进入了大数据(Big Data)时代。 大数据是继互联网、云计算、移动互联网之后的又一个新热点，是新一代通信技术的代表。大数据在推动技术创新、改善公共服务等方面有着重大前景，各国政府纷纷布局大数据战略，推动大数据产业的发展。 随着我国信息产业宏观环境的不断改善，各地方政府纷纷出台大数据发展计划，各高校和科研组织开始培养专业的大数据人才，而以BAT为代表的科技企业也开始涉足大数据产业。通过各方努力，目前我国已具备加快发展大数据产业发展的基础和态度，大数据产业链正在加速形成。 然而，我国的大数据产业发展还处于起步阶段，大数据产业还存在一些问题，如大数据相关法律法规有待进一步完善，对于信息安全保护还需提高重视等。因此，我国大数据产业还需要在国家宏观指导下进一步发展。 3国内外大数据产业链现状 3.1大数据产业链全景图 大数据产业包括一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动。数据产业链按照数据价值实现流程，包括生产与集聚层、组织与管理层、分析与发现层、数据应用与服务层四大层级，每一层都包含相应的IT技术设施、软件与信息服务。 全球互联网公司纷纷进入大数据产业，希望瓜分这一市场。据电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右。可见大数据巨大的产业价值已经逐渐被企业重视。
阿里云大数据解决方案 阿里云“数加平台”提供了大量的大数据产品，包括大数据基础服务、数据分析及展现、数据应用、人工智能等产品与服务。这些产品均依托于阿里云生态，在阿里内部经历过锤炼和业务验证，可以帮助组织迅速搭建自己的大数据应用及平台。 奥远电子作为阿里云辽宁区授权服务中心，可为用户提供专业、高效和本地化的服务，包括运维、产品咨询、备案咨询、解决方案和架构搭建等一体化等，同时旨在帮助本地政府部门和企事业单位、个人了解云计算，使用阿里云服务，为用户提供网络、服务和计算资源等，从而减轻用户因业务量骤增而带来的IT压力，助力轻松上云。 基础产品： 大数据计算服务（MaxCompute，原名ODPS） 是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决海量数据计算问题，有效降低企业成本，并保障数据安全。 分析性数据库（AnalyticDB） 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力，能让用户在瞬息之间进行灵活的数据探索，快速发现数据价值，并可直接嵌入业务系统为终端客户提供分析服务。 数据集成（Data Integration） 是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20+种数据源提供不同网络环境下的离线(全量/增量)数据进出通道。 核心解决方案介绍： （一）个性化推荐 根据用户的兴趣特点和购买行为，推荐用户感兴趣的信息和商品。建立在海量数据挖掘基础之上，为用户提供完全个性化的决策支持和信息服务。 业务需求： 1.研发成本高：对于一些中小企业，想做自己的个性化推荐业务，但是不知道如何收集数据，而且搭建和使用算法的成本较高，需要算法团队、算法框架等。 2.推荐效果差：很多时候是企业积累了很多用户数据、用户行为数据，在此基础上尝试做了个性化推荐，但是推荐效果并不好，没有带来实际转化率的提升 3.不断提升效果：为了提升用户粘性和用户留存，需要从各维度进行对比，使用A/B test来确定不同算法的效果，以进一步提升转化率。 典型应用场景： 1.视频网站：短视频推荐通过对视频内容进行分析和特征抽取，向您的用户提供个性化的视频推荐。 2.2.电商网站：电商推荐针对不同偏好的用户提供个性化的商品推荐，新注册的用户和商品上新也能够享受到实时推荐，助力您的企业提升销售额。
《中国产业链大数据白皮书》 2014年
一、引言 (3) 二、迎接金融大数据时代到来 (5) 1、大数据起源 (5) 2、产业链大数据由来 (7) 三、产业链大数据的外部环境 (8) 1、产业链大数据的产业环境 (8) 2、产业链大数据的政策环境 (9) 3、产业链大数据的生态圈 (10) 四、产业链大数据的应用 (10) 1、大数据对能源产业链的变革 (10) 2、大数据对汽车、配件及后市场产业链的变革 (12) 3、大数据对食品饮料产业链的变革 (15) 4、大数据对物流供应链服务的变革 (16) 5、大数据对大健康产业链的变革 (17) 6、大数据对大文化领域的变革 (19) 7、大数据对纺织服装产业链的变革 (20) 8、大数据对家电及配套产业链的变革 (22) 9、大数据加快智能交通的推广 (22) 10、大数据对连锁经营贸易服务的变革 (24) 五、产业链大数据的未来及方向 (25) 1、产业链大数据的未来价值分析 (25) 2、产业链大数据的发展方向 (27) 六、结束语 (28)
一、引言 伴随着我国经济结构体制改革的逐步深化，在中国大陆上各行各业的领袖们都在谋划新的业务增长点来提升自身实力，在新的经济浪潮中占领先机。 在新经济时代，互联网经济、大数据经济被越来越多的人所重视。《大数据时代》作者英国牛津大学维克托教授提醒，“未来数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”因此如何在大数据时代抢占资源赢得先机是企业家、股东们争相寻找的。 大数据在新经济时代可以将产业链上的供求信息、风险信息、企业数据信息有效传统，这样产业链变得更加紧密，使产业链的各环节数据的互通，可以大大降低交易成本，提高产业链效率。此外，大数据使得产业链的结构变得更加稳固，有助于将原有的一些产业链过度环节省去，重新打造更高效的产业链结构。 九次方大数据： 企业大数据+金融互联网+企业征信+智慧城市+产业链社交 创建于2010年的九次方大数据（JUSFOUN BIGDATA)是中国目前唯一的企业大数据服务平台，九次方大数据平台汇集分析了40多个产业链、8000多个行业、40000多个细分市场、500多个城市的750万家企业。每家企业设定了200多项指标，可以进行交叉分析。 基于企业大数据平台，九次方开发出来了八类大数据服务平台，服务覆盖了25个客户群，比如商业银行、P2P公司、省市区政府、
深圳市工业和信息化局关于发布2020年 第一批数字经济产业扶持计划申请指南的通知 各有关单位： 为贯彻落实《深圳市战略性新兴产业发展政策》，我局决定组织实施2020年第一批数字经济产业扶持计划，现将有关事项通知如下： 一、支持领域 （一）数字经济产业链关键环节提升扶持项目。 支持申报单位围绕产业链关键环节，以创新集聚优势资源和提升产业层级为战略任务，以重点领域服务和模式创新、重大战略布局、规模化示范应用推广、关键技术工艺提升、生产环节核心技术掌握为目标，实施对经济或社会经济效益显著、产业发展起到支撑引领作用或主要性能指标取得突破的新产品应用推广的项目。 1.互联网方向：支持申报单位围绕产业链关键环节，实施对实现我市互联网产业跨越式发展具有全局性影响和关键性推动作用，夯实产业基础、完善支撑条件、强化产业链上下游配套能力，突破关键核心技术、提升创新能力的项目。重点支持互联网平台服务、互联网信息服务等领域。 2.大数据和云计算方向：大数据重点支持数据采集、数据清洗、数据分析发掘、数据可视化、大数据行业应用等领域。云计算重点支持基础设施即服务（IaaS）、平台即服务
（PaaS）和软件即服务（SaaS）等领域。 3.软件服务业方向：鼓励企业坚持技术创新与市场应用紧密结合，强化产业链协同创新，支持软件产品或服务在公共服务和重点行业领域的应用示范，促进市场培育，推动产业规模化发展。支持领域包括：（1）首套软件类：工业、金融、移动互联网、新型显示、北斗时空信息服务、虚拟现实/增强现实/混合现实、人工智能、物联网等行业应用软件；（2）高端软件类：以操作系统、数据库、中间件、通用办公软件等为代表的基础核心软件，以区块链、信息安全、工业控制、智能制造及人工智能引擎、新兴信息服务软件为代表的关键行业应用软件，以及软件开发过程中的支撑软件、平台软件等。 （二）数字经济产业服务体系扶持项目。 包括公共服务、高端展会等扶持计划。公共服务：支持申报单位以降低企业研发成本和风险、提升产业共性技术及公共服务水平、完善产业发展支撑环境为目标，开展共性技术研究、成果转化服务、技术交流、资源数据共享、产品推广服务、决策咨询、产学研合作、科技成果转化、标准制定、认证测试等服务，通过整合现有资源，打造和打通各类公共服务平台，建设产业服务体系，提升产业公共服务能力。高端展会：支持高校、企业、行业协会等机构主办或承办数字经济产业领域的国内外知名展会、高端论坛等活动。
南京邮电大学盐城大数据研究院成立于2015年5月，是由盐城市城南新区管委会和南京邮电大学共建的自收自支事业单位。位处城南新区智慧谷科技创新大厦。研究院将建成盐城发展大数据产业发展的智库，政府决策的智囊；大数据人才的培养基地；大数据相关产业的孵化基地，最终建成一个开放式的、涵盖不同产业领域的、产业化的研发平台、公共服务平台、人才聚集平台和产业孵化平台。 大数据产业链： 近些年，大数据已经和云计算一样，成为时代的话题。大数据是怎么产生的，商业机会在哪？研究机会在哪？这个概念孕育着一个怎样的未来？昨天在车库咖啡参加了一个小型的研讨活动，就这些问题进行了一些讨论，我结合自己的一些理解做一个总结。首先，大数据是怎么产生的？ 1）物理世界的信息大量数字化产生的例如刘江老师指出的好大夫网，将医生的信息，门诊的信息等数字化。其实还有很多，比如新浪微博将茶馆聊天的行为（弱关系产生信息数字化），朋友聊天的行为数字化（强关系产生信息数字化）。视频监控探头将图像数字化。 2）社交网络产生的在雅虎时代，大量的都是读操作，只有雅虎的编辑做一些写操作的工作。进入web2.0时代，用户数大量增加，用户主动提交了自己的行为。进入了社交时代，移动时代。大量移动终端设备的出现，用户不仅主动提交自己的行为，还和自己的社交圈进行了实时的互动，因此数据大量的产生出来，并且具有了极其强烈的传播性。
数据都要保存所产生的一位嘉宾指出，旧金山大桥保留了百年的历史数据，在时间跨度上产生了价值，很多网站在早期对数据的重视程度不够，保存数据的代价很大，存储设备的价格昂贵，但是时代变了，存储设备便宜了，用户自己产生的数据得到了重视，数据的价值被重视了。因此越来越多的数据被持续保存。其次，大数据和大规模数据的区别？big data之前学术界叫very large data,大数据和大规模数据的差距是什么？我认为在英文中large的含义只是体积上的，而big 的含义还包含重量上的，价值量上的。 因此我认为： 1）大数据首先不是数量上的堆砌，而是具有很强的关联性结构性。比如有一种数据，记录了世界上每一颗大树每年长高的程度，这样的数据不具有价值，因为只是简单堆砌。如果数据变成，每一个大树记录它的，地点，气候条件，树种，树龄，周边动植物生态，每年长高的高度，那么这个数据就具有了结构性。具有结构性的数据首先具有极强的研究价值，其次极强的商业价值。在比如，淘宝的数据，如果只记录一个交易的买家，卖家，成交物品，价格等信息，那么这个商业价值就很有限。淘宝包含了，买家间的社交关系，购物前后的其他行为，那么这个数据将非常有价值。因此，只有立体的，结构性强的数据，才能叫大数据，才有价值，否则只能叫大规模数据。 2）大数据的规模一定要大，而且比大规模数据的规模还要大。要做一些预测模型需要很多数据，训练语料，如果数据不够大，很多挖掘工作很难做，比如点击率预测。最直白的例子，如果你能知道一
智慧畜牧业全产业链追溯体系解决方案一、前言 古往今来，养殖业一直都是人类与自然界进行物资交换的重要环节。从原始社会的简单圈养，到现代化的养殖场，可以这么说，养殖业的发展史几乎与人类历史一样悠久。在国民经济体系中，养殖业是农业的主要组成部分之一，与种植业并列为农业生产的两大支柱。 基于国家改革和完善商品安全监管体制机制以及物联网产业发展规划，以成熟技术兼容已有局部应用，以“安全、方便、幸福、安居”为宗旨，打造基于大数据、云计算和物联网技术的“智慧溯源协同平台”体系，以追溯平台为核心，建立追溯应用系统，覆盖产品的生产加工、仓储物流、终端销售、检验检测、政府监管、企业管理、查询验证等全生命周期各环节。在建立产品流通信息追溯体系标准的基础上，为政府、企业、消费者提供产品流通追溯相关信息、定制应用服务、及数据增值服务。 二、建设背景 我国是一个畜牧大国，在实现畜牧业发展的过程中，面临着企业生产管理水平低、政府监管薄弱、环境污染、行业数据资源分散等问题，阻碍了现代畜牧业的快速发展。如今人们的生活水平不断提高，消费者对牛、羊肉产品的需求已由“量变”转为“质变”，对牛、羊
肉产品质量安全提出了更高的要求。与发达国家相比，我国肉牛业实际上还处于初级阶段，特别是在生产水平、疫病控制、肉产品安全方面以及高效牧场管理方面还存在很大差距，成为中国肉牛业发展以及打入国际市场的瓶颈。 三、建设依据 《国务院关于印发促进大数据发展行动纲要的通知》（国发〔2015〕50号） 《畜牧业发展“十三五”规划》的通知 自治区牛羊屠宰管理办法（自治区人民政府令第218号） 《自治区当前产业发展序列》政办发〔1998〕57号 《关于“十三五”期间加快肉类蔬菜流通追溯体系建设的指导意见》《自治区牛羊屠宰管理办法》 《农产品质量安全检测机构考核办法》 《国家大数据综合试验区建设实施方案》 《关于推进农业农村大数据发展的实施意见》 《自治区促进大数据发展应用的若干政策》 四、建设意义 1、社会效益 追溯系统能让消费者通过手机查询，知道餐桌上每一块肉的源产地，能对羊的饲养、屠宰及产品加工、储藏、销售等环节进行实时监督和
大数据产业链构成分析 大数据的产业链构成分析如下图所示，大致可分为数据标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维及数据应用几个环节，覆盖了数据从产生到应用的整个生命周期。 (一)数据标准与规范 大数据标准体系是开展大数据应用的前提条件，没有统一的标准体系，数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面，参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。 (二)数据安全 随着海量数据的不断增加，对数据存储和访问的安全性要求越来越高，从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。 另外，由于大数据服务器处理主要采用分布式计算方法，这必然面临着数据传输、信息交互等环节，如何在这些环节中保护数据价值不泄露、信息不丢失，保护所有站点的安全是大数据发展面对的重大挑战。 在大数据时代，传统的隐私数据内涵与外延有了巨大突破和延伸，数据的多元化与彼此的关联性进一步发展，使得对单一数据的隐私保护方法变得极其脆弱，需要针对多元数据融合的安全提出。 在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎360、瑞星等杀毒软件公司。 (三)数据采集 政府部门、以BAT为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外，利用网络爬虫或网站公开API等途径对网络数据进行采集也是大数据的主要来源。
现实世界中的数据大多不完整或不一致，无法直接进行数据挖掘或挖掘结果不理想，需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作，并且往往需要大量的人工参与，因此数据采集和清洗成为大数据产业链的一个重要环节。 (四)数据存储与管理 大数据存储与管理的主要参与者以传统数据库企业为主，国际上主要有IBM、Oracle、Intel、Green-plum、infor Matri Cloudera等;国内主要有中兴、华为、用友、浪潮ai服务器、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究，形成针对具体领域的产品。 (五)数据分析与挖掘 大数据分析与挖掘的意图主要集中在两方面： 一是从大量的机构结构化和半结构化数据中分析出超级计算机可以理解的语义信息或知识; 二是对隐性的知识，如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。 数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里，国际上主要参与者包括IBM、甲骨文、微软、谷歌、亚马逊、Facebook等，国内主要参与单位包括数据库企业、高校、以BAT为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。 (六)数据运维 由于数据的重要性得到普遍认可，除政府部门不具备数据运维服务条件外，数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享，如云上贵州，吸引个人和企业用户开展创新与创业，积极推动大数据的增值服务。 (七)数据应用 大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮服务器、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度，在国际先进的开源大数据技术基础上，形成独自的大数据平台构建和应用服务解决方案，以支撑不同行业不同领域的专业化应用。 虽然这些企业在平台构建上有着得天独厚的优势，但是在某些具体业务领域，并不擅长或者关切。传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现，是大数据发展的原始推动力。 当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变，在转变思维过程中需要积极转变思维，明确出数据共享的方式是什么，数据拥有者的利益如何平衡，商业模式如何开展等。
我国大数据产业链及战略地位分析 大数据产业链分析 中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》指出，大数据从源到流到汇聚应用，包含数据入口、数据融合处理、数据应用三个主要过程。从前到后看，这三个过程分别对应于数据资产领域、数据融合与处理相关领域、数据应用相关领域。 1、数据资产领域 “数据正在成为一种（战略）资产”已经是行业的共识。大数据很大程度上是随着社会信息化程度提高而产生的，即是以前没有或无法获取且正在不断生成的“新（fresh）”数据。不同的公司把握着各个数据入口，而把握数据资产的企业也必然成为大数据的首批和直接受益者。从公司业务模式上，数据资产公司可以区分为纯数据资产公司和兼数据资产公司；从数据类型上，数据可以区分为交易数据（含询价等）和交互数据。 纯数据资产公司指其产品和业务即为数据本身，代表企业如友盟和个信互动等。友盟（Umeng）将核心代码植入各种移动应用，向移动应用创业者提供应用统计分析、用户反馈等服务，目前，国内主流开发者大多是友盟的用户，超过18万的移动应用从友盟服务中获益。个信互动的个推平台，面向公众提供专业的手机推送解决方案，并向开发者提供推送的BI数据，目前的接入用户已经超过6.8亿。 图表大数据产业主要数据资产类企业 资料来源：中投顾问产业研究中心
表格中所列示的都是规模较大、有所成绩的明星企业，因为如果数据没有相当深度和广度的累积，价值将非常低。但是，我们看到不断有新的企业成长起来，百花齐放百家争鸣，抢夺已有的入口或者开辟全新的入口。 2、数据融合与处理相关领域 在数据融合与处理相关的领域，主要解决包含两个方面的问题：一是数据标准化与有效性整理；二是面向过程（具体目的）的数据处理与粗提取。 典型的案例如征信数据库，商业银行与各信贷主体之间每天都在发生着海量交易，交易一旦发生则记录进入各商业银行数据库（录入人员通过人机交互过程完成数据的标准化和预处理），每天晚上各商业银行后台对数据进行整理和加密，次日将信贷主体与信用数据加密通过专用接口将数据包提交到征信数据中心，然后征信中心将各数据包加成导入到征信数据总库进行更新，完成数据标准化和有效性整理并形成更新后的数据状态。而面向过程的数据处理与粗提取，比如对某信贷主体的征信数据进行查询后，可通过插件进行破产风险（企业）或信用评分（个人）的简单核算，不同金融机构可设置不同的标准，根据自身风险政策完成初步的可否授信、授信额度大小的批量化评估。 较成熟的类似机构包括彭博、万得、同花顺等，目前均局限于金融行业，但每个行业都有不同的数据整合入库的需求，而数据标准的制定及数据汇聚的执行是其难点所在。另外，在大数据的融合与处理相关领域，两个绕不开的点为基础软件（数据库软件）和云计算。 3、数据应用相关领域 掌握数据资产的企业群是大数据的首批和直接受益者，因为他们会自然、方便的对大数据进行把玩、加工、消化、利用。而随着应用价值的逐步体现及大数据产业的发展，应用将必然扩张到生产生活的方方面面，广泛影响各行各业。 麦肯锡针对美国各个行业应用大数据的潜在价值提升做了一个评估，从其中我们可以看到，大数据的应用将使得金融保险、信息技术、公共管理、贸易物流等领域获得极大的价值提升。 大数据产业的战略地位 1、国家级别的战略产业 美国政府认为数据资源是继陆空海三大资源外的另一种重要的国家战略资源，已将大数据战略上升到国家层面，从2012年到现在为止提出了诸多促进大数据产业发展的宣言和计划。英国在顶着经济低迷的巨大压力下还将大数据作为重点发展的科技领域，2013年投资1.89亿英镑用来加强数据采集和分析，以求在数据革命中抢占先机。同样日本政府也提出了大力发展IT业的发展计划，不断地对信息产业提出战略规划。世界各国也逐渐意识到大数据时代的到来，纷纷建立大数据产业。中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》认为大数据产业已经发展成为了国家级别的战略产业。 2、推动技术和知识创新模式的变革
大数据产业链及技术体系逐渐成熟 近年来，随着固网宽带、移动互联网、物联网等的快速发展，数据正呈爆炸式增长，大数据时代已经来临。对于电信运营商而言，如何让自己拥有的庞大数据资源，产生更大的价值成为业界各方关注的焦点话题。 大数据产业链及技术体系逐渐成熟 2001年，Gartner的研究员道格。莱尼将数据增长的挑战定
义为3个方面（3V）：日益增长的数据量（Volume）、速度（Velocity）、多样性（Variety）。2011年5月，维克托·迈尔—舍恩伯格在《大数据时代》一书中，指出大数据时代与传统“小数据”时代在处理数据的理念方面的巨大转变，企业必须积极适应、应对大数据的巨大转变，才能在未来的激烈竞争中占据有利地位，否则将会在整个价值链中被边缘化。 大数据的引入，相比传统的数据仓库与商务智能，在策略上与技术两个方面都带来一系列的挑战。麦肯锡在《大数据的下
一个前沿：创新、竞争和生产力》报告中正式提出大数据对创新、竞争与生产力的推动作用：数据更透明、更可用，改善企业流程绩效，改善客户体验，提升决策能力，业务模式和产品创新。 目前，大数据的产业链正在不断完善。大数据产业的上游是一批能够掌握大数据标准、入口、汇集和整合过程的公司，他们在大数据储存、使用和分析的基础上推出个性化、精准化和智能化的机制，跨网站、跨产品、跨终端、跨平台，让人与人、人与物、物与物之间实现高效撮合与匹配，从而建立起崭新的商业
模式。这些公司的理想目标是掌握全部网络用户和全部网络服务提供商的全部网络行为。这种驾驭大数据的能力反过来会深刻影响网络业未来的走向和人们使用互联网的方式。 大数据产业的中游是一批在某些垂直领域或者某些特定区域能够掌握大数据入口、汇集和整合的公司，掌握全部网络用户的部分网络行为，或者是部分网络用户的全部网络行为。这些公司有机会在这些垂直领域或特定区域成为规则制定者和商业模式创新者。
大数据计算服务使用文档 1.新建项目 新建项目big_testdata1 2.添加成员 一个项目下可以添加多个成员，在这里我们添加一个成员是“悠闲地小蜗牛” 3.角色授权 新建一个项目后，会默认创建一个admin角色，该角色具有操作项目和表的所有权限，在这里我们新创建一个角色test1，给角色赋予项目的权限和表的权限，再把角色test1赋予给用户“悠闲地小蜗牛”
4.新建表 新建表tbl1 下面我们用成员“悠闲地小蜗牛”来操作项目和表 用成员“悠闲地小蜗牛”账号登录大数据计算服务，这时在项目列表下看不到刚才我创建的big_testdata1项目。 这时我们用客户端来登录，下载客户端，下载好后解压，解压后如下图所示： 在conf文件夹中有odps_config.ini文件。编辑此文件 odps_config.ini文件内容为：
修改好配置文件后运行bin目录下的odps(在Linux系统下是./bin/odpscmd，Windows下运行./bin/odpscmd.bat) 打开后界面如下： 用项目下的成员“悠闲地小蜗牛”来执行以下代码： create table tbl2(id bigint); insert overwrite table tbl1 select count(*) from tbl1; select'welcome to MaxCompute!'from tbl1;
提示没有这个CreateInstance权限，这时我们回到大数据计算服务给“悠闲地小蜗牛”添加 CreateInstance，CreateTable权限 责任人“悠闲地小蜗牛”创建表tbl2成功 我们给表tbl1添加权限，alert、select、update
一、通信大数据的基本内涵 通信大数据是通信大数据应用的简称，主要核心是大数据在通信行业的应用。它是大数据应用浪潮的新一波。对于“大数据”时代的到来，通信运营商普遍认为：随着信息成为企业战略资产，市场竞争要求越来越多的数据被长期保存，每天都会从管道、业务平台、支撑系统中产生大量有价值的数据，基于这些数据的商业智能应用将为运营商带来巨大的机遇。 二、通信大数据发展动因分析 电信运营商营收放缓 财报数据显示，中国移动2014年营收6414亿元，同比增长1.8%；净利润1093亿元，同比下滑10.2%；中国联通2014年营收2846.8亿元，同比下滑3.5%，净利润120.6亿元，同比增长15.8%；中国电信2014年营收3243.94亿元，同比增长0.9%，净利润176.8亿元，同比增长0.8%。按此计算，三大运营商2014年净利润合计1390.4亿元，日均赚3.8亿元，低于2013年的4.34亿元，也低于2014年上半年三大运营商日赚4.19亿元的数字。从财报数据可以看出，三大运营商盈利能力进一步下降。 人口红利逐步消失 2014年我国移动电话用户达12.86亿户，移动电话用户普及率达94.5部/百人，我国通信市场趋于饱和，同时虚拟运营商也加入存量用户的争夺，三大运营商十几年来靠普及用户来实现增长的“人口红利”发展模式已经不再成为支撑。 图表1949-2014年固定电话、移动电话用户发展情况
数据来源：工信部 而三大运营商盈利能力下降除了受到电信业营改增实施的影响，还和电信业服务单价下降有关系。从目前的行业趋势看，电信业流量等服务单价下调是大趋势。例如，在2014年，三大运营商均下调了流量套餐资费和海外漫游费用。 原来三大运营商可以依靠用户的快速增长来抵消服务单价下降的影响，但是现在电信业人口红利消失，所以收入增长趋势放缓就格外明显。 移动互联网用户增加 2015年1-12月移动互联网用户增加8925.0万户，新增用户数同比上升31.9%，2015年12月移动互联网用户当月增加1089.2万户，继续2015年11月的增长趋势，增至96447万户，相比2014年同比增长10.2%。 图表2013-2015年移动互联网用户数 资料来源：工业和信息化部 5G关键技术取得突破 2013年2月，工信部与科技部、发改委联合支持成立了IMT-2020（5G）推进组，以此为平台，集中产业研用优势单位联合开展研发和国际标准推进工作。IMT-2020（5G）推进组已经在需求愿景、关键技术等方面取得了积极的进展。
大数据计算服务MaxCompute Datahub服务
Datahub服务 MaxCompute DataHub Service(DHS)是一个 MaxCompute 的内建服务，使用RESTful接口向用户提供实时数据的发布(Publish)和订阅(Subscribe)的功能。用户可以将数据记录(Record)，通过DHS的某个"数据通道"(Shard)写入到 MaxCompute 的表中，数据通道的数量由用户指定。写入成功后，用户可以通过订阅接口实时读到写入的数据。由于不用创建 MaxCompute 任务(Task)， DHS可以提供给用户较高的QPS(Query Per Second)和较大的吞吐量。 备注：目前 DataHub 已处于维护状态，不再接入新用户。后续 DataHub 会成为一款阿里云的独立产品，相关信息请关注阿里云官方通告。 DHS上可订阅的数据仅会被保存7天，但所有的数据会被系统自动增量复制到 MaxCompute 表中，参与后续的离线作业计算。 如下图所示，我们对DHS的工作流程做简要介绍： 用户将需要上传的数据放入pack中，并指定将这个pack中的数据通过某一路通道(Shard)上传至DHS。请注意，同一个pack中的记录必须属于同一个表分区(partition)。在DHS中，同一个Shard下数据按照上传时间严格有序，且有可能会包含不同Partition的数据。在上图示例中，相同颜色的pack表示partition值相同。 DHS上的在线数据会被增量复制到 MaxCompute 的离线数据中。目前，离线数据仅供离线作业处理，用户可以通过DHS提供的接口检查DHS到 MaxCompute 的数据同步状态。
百度、阿里、腾讯三巨头开挖大数据 概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。 BAT都是大矿主，但矿山性质不同 数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。 百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web数据。 阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。 腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。
下面，就将三家公司的情况一一扫描与分析。 一、百度：含着数据出生且拥有挖掘技术，研究和实用结合 搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。 除了网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管百度拥有核心技术和数据矿山，却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用，与Google相比，百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。
阿里云培训与认证 阿里云大数据专业认证（ACP级）－考试样题 阿里云大数据专业认证（ACP级）考试样题 一.单选题 1.阿里云大数据计算服务（MaxCompute，原ODPS）是阿里巴巴自主研发的海量 数据处理平台，主要服务于批量结构化数据的存储和计算。以下哪个场景不适合使用大数据计算服务实现？ a)在线交易系统 b)数据仓库 c)大数据的分析建模 d)网站日志离线分析 2.阿里云大数据计算服务（MaxCompute，原ODPS）中的表 event 是分区表，分 区键是 dt （类型为string），每天生成一个分区，现在表中有 dt='20160101' 至 dt='20160531' 共5个月的数据，为了统计3月份 eventid 非空的数据量，开发人员运行了以下语句： select count(*) from event where substr(dt,1,6)='201603' and eventid is not null; 对此任务的描述正确的是 ________。 a)此任务需要读event表中所有分区中的数据 b)此任务只需要读event表中dt='20160301' 至dt='20160331'共31个分区中 的数据 c)此任务会读event表中所有分区中eventid非空的数据 d)此任务只需要读event表中dt='20160301' 至dt='20160331'共31个分区中 eventid非空的数据 3.某信贷公司推出一款线上贷产品，采用阿里云的数据处理技术，通过对会员的历史 数据进行分析，包括交易量、网上信用评价、企业自身经营状况等等，每天处理的数据量在20P左右，基于这些数据对用户信用进行聚类分析建模并产生预测数 据，用户线上申请贷款时，能在1秒钟内根据用户模型预测结果得到该用户的资质评估、授信等信息。请根据您对阿里云产品的理解判断，下述方案中成本最低、性能最好的一个是________。 a)使用阿里云大数据计算服务（MaxCompute，原ODPS）对数据进行建模，然 后使用该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结 果保存在MaxCompute中 b)使用阿里云大数据计算服务（MaxCompute，原ODPS）对数据进行建模，然 后使用该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结 果保存在阿里云表格存储（Table Store，原OTS）中,以供实现快速查询 c)使用阿里云分析型数据库（Analytic DB，原ADS）对数据进行建模，然后使用 该模型对所有符合贷款条件的会员进行资质评估和授信评估，将处理结果保存 在Analytic DB中