目录：
什么是大数据
Hadoop介绍-HDFS、MR、Hbase
大数据平台应用举例-腾讯
公司的大数据平台架构
“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以
及理解世界的方式……”。 大数据的4V特征-来源
公司的“大数据”
随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：
1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G;
2、平均每天产生签约视频文件6000个，每个平均250M，磁盘空间每天消耗1T;
……
三国里的“大数据”
“草船借箭”和大数据有什么关系呢?对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气
的综合分析这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电
脑，而是人脑并最终通过计算分析得出结论。深入浅出解析大数据平台架构 2015/1/12
Google分布式计算的三驾马车
Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余(也就是一份文件保
存多份在不同的电脑之上)的方式，来取得读写速度与数据安全并存的结果。
Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据
分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。
BigTable是在分布式系统上存储结构化数据的一个解决方案，解决了巨大的Table的管理、负载均衡
的问题。 Hadoop体系架构
Hadoop核心设计深入浅出解析大数据平台架构 2015/1/12 HDFS介绍-文件读流程
Client向NameNode发起文件读取的请求。
NameNode返回文件存储的DataNode的信息。
Client读取文件信息。
HDFS介绍-文件写流程深入浅出解析大数据平台架构 2015/1/12
i
气象大数据应用技术架构
设计思路
二〇一五年五月 ii
文档信息
客户单位: 内部技术机密心
项目:
文档：
版本： 0.9(150521)
发布日期: 未发布
编者: 姓名 公司 项目职称 日期
邱承国 高级技术经理
2015-05-11
批准: 姓名 公司 项目职称 日期
修订历史
主要修订记录 版本号 修改人 修改内容 修改日期
1. V0.9_150511 邱承国 初稿 2015-0-1-1
2.
3.
4.
iii
目录
iv
1
1 引言
在气象行业内部，气象数据的价值已经和正在被深入挖掘着。但是，不能将气象预报产品的社会化推广简单地认为就是“气象大数据的广泛应用”。
大数据实际上是一种混杂数据，气象大数据应该是指气象行业所拥有的以及锁接触到的全体数据，包括传统的气象数据和对外服务提供的影视音频资料、网页资料、预报文本以及地理位置相关数据、社会经济共享数据等等。
传统的”气象数据“，地面观测、气象卫星遥感、天气雷达和数值预报产品四类数据占数据总量的90%以上，基本的气象数据直接用途是气象业务、天气预报、气候预测以及气象服务。“大数据应用”与目前的气象服务有所不同，前者是气象数据的“深度应用”和“增值应用”，后者是既定业务数据加工产品的社会推广应用。
“大数据的核心就是预测”，这是《大数据时代》的作者舍恩伯格的名言。天气和气候系统是典型的非线性系统，无法通过运用简单的统计分析方法来对其进行准确的预报和预测。人们常说的南美丛林里一只蝴蝶扇动几下翅膀，会在几周后引发北美的一场暴风雪这一现象，形象地描绘了气象科学的复杂性。运用统计分析方法进行天气预报在数十年前便已被气象科学界否决了——也就是说，目前经典的大数据应用方法并不适用于天气预报业务。
现在，气象行业的公共服务职能越来越强，面向政府提供决策服务，面向公众提供气象预报预警服务，面向社会发展，应对气候发展节能减排。这些决策信息怎么来依赖于我们对气象数据的处理。
科技创新导报2016 NO.30Science and Technology Innovation Herald信息科学
科技创新导报 Science and Technology Innovation Herald69大数据平台的构建能够完善普通计算机软件无法容纳海量数据的缺陷，其能够对庞大的数据信息内容在所需时间内对其进行选取与处理，使需要者能够在短时间内获得所需信息，有效缩短了信息获取时间。广电作为大数据的传播平台，其在面对海量的数据收集时常常面临许多困难，且数据的存储也十分有限，若广电根据自身发展需求构建相应的数据平台，则能够解决目前数据收集难与数据存储难的发展困境，同时，数据平台还能促进广电传统媒体与新媒体的融合，将传统媒体拓展至网络平台，为广电发展提供新的发展渠道。1 广电建设大数据平台的必要性大数据主要体现的特征为大数据规模、信息多样及选取速度快，能够在短时间内对海量数据进行筛选、收集与管理，使企业在运营过程中能够根据所获取数据做出相关决策或了解资讯。在近几年互联网技术逐渐成熟后，我国的媒体环境开始发生了巨大变化，大数据开始成为媒体发展的重要媒介，海量的数据内容使得大数据平台的收集、信息存储、信息分析等技术开始得到完善与创新，并在获得一定成绩后开始应用于多个行业领域，为当代社会做出了良好贡献。大数据平台对信息数据的处理方式主要分为4个步骤，分别是信息的采集、信息导入、信息统计与信息挖掘，数据信息的采集是通过对外来客户端的数据进行接收，同时，还可根据用户需求利用数据平台查询所需信息，相较于以往有了更高的时间效率。信息的导入则是将所获取信息导入集中的数据库内，也可将大量数据以模块式进行存储，也可在导入过程中对数据进行简单的处理，有一些企业为使数据更符合实际需求，其会在导入前对数据内容进行流式计算。数据信息的统计是将数据库内原本零散的数据内容进行统计，统计方式可包括分类统计与集中式统计，能够根据用户需求对其进行整体汇总，数据的挖掘在最先进行操作时，其用户普遍不会对其进行主题或领域范围设定，而是基于目前的数据内容来进行计算，对数据进行一系列的分析[1]。在近几年新媒体时代到来后，大数据开始步入新的发展阶段，新媒体对大数据也十分重视，这使得许多企业开始研发新的营销模式，为企业盈利带来更大的发展空间。而我国的传统媒体在面对新型媒体的发展状况后却未有任何的行动意识，对大数据的运营还十分盲目。广播电视在新时代来临后虽从传统单方面的发展形势开始转战多方向与移动化的发展领域，并且以窄型的发展渠道拓展至互播型平台，但其在大数据上还仍未有觉醒意识。对此，广电应根据时代发展抓住大数据的发展机遇，将大数据作为平台受众群体的杠杆，对当下广电的群众类型进行不断探索，并对不同年龄及不同领域的人群需求进行挖掘，从大数据中进行分析与判断，为大众建设个性化、多元化的广电平台，并增强与观众之间的互动，发展更人性化的广电事业，不断完善平台缺陷，为广电未来的发展道路打下良好基础。在整体建设的必要性上，广电构建大数据平台能够使广电部门对自身节目的收视状况做出具体数据收集，从而根据节目收视率对整体节目进行整改与完善，加快互动平台的建设，增强节目与观众之间的活动，并使节目各个广告能够得到精准规划与投放，这对广电整个行业市场将会是一次全新的改革[2]。2 广电大数据平台的构建思路引导广电虽是一个传统的媒体平台，但其与社会群众的生活百态有着密切关系，它能够进入社会任何一个阶层群体，将第一手信息发布于平台，为社会百姓提供周全的信息服务，使社会群体能够得到真实、有效的信息，这是其他机构无法替代的。广电在经过多年的发展与累积后，其平台已存储了大量的信息资料、音频资料及各项业务系统在所发布的信息①作者简介：仲岩（1976,6—），男，汉，河南光山人，本科，工程师，研究方向：广播电视工程。DOI：10.16660/ki.1674-098X.2016.30.069广电大数据平台建设思路及架构研究①仲岩（河南省广播电视发射台 河南郑州 450002）摘 要：在计算机技术取得了重大成就后，大数据开始成为计算机技术中的重点技术内容。在大数据的平台建设上，其建设领域主要针对互联网机构领域进行，而当前互联网的大数据平台建设已十分成熟，并在应用范围上也取得了十分显著的成效，这使得大数据建设开始以单一的形式发展着。在当下新媒体时代来临后，大数据开始以云计算的方式出现，这使得传统媒体的发展方向发生了变化。其中，传统媒体中最具代表性的媒体为广播电视，该平台在数据传播方式上仍然十分传统，使得发展步伐难以跟上大数据时代，这对广电的发展速度必然造成了阻碍。对此，为改善这一问题，广电需改变发展思路，构建大数据平台，使其更符合当前广电的发展需求。关键词：大数据 建设 思路 架构 研究中图分类号：TP311.1 文献标识码：A 文章编号：1674-098X(2016)10(c)-0069-02科技创新导报2016 NO.30Science and Technology Innovation Herald信息科学
大数据共享平台的系统架构与建设思路
鲁 焱（辽宁科技大学） 数字图书馆－技带平台
摘要：从大数据共享平台的特性入手，分析其系统结构与现阶段我国的建设思路。研究提出：①大数据共享
平台具有应用导向、双向开放、零边际成本、技术包容和政府主导５个特性；②大数据共享平台是由管理运营
系统、数据资源平台和数据应用平台等三大板块构成的无边界虚拟平台体系；⑧现阶段我国建设大数据共享平
台适合采取牵引社会资本、推进资源共享、建立利益交换机制、借助产学研一体化、完善政策保障等思路。 关键词：大数据共享平台；特性；体系架构；建设思路
中图分类号：Ｇ２５０．７３ 文献标志码：Ａ 文章编号：１００５—８２１４（２０１７）０４—０ｏ８６—０５
Ｓｔｕｄｙ ｏｎ ｔｈｅ Ｓｙｓｔｅｍ Ｓｔｒｕｃｔｕｒｅ ａｎｄ Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｔｈｉｎｋｉｎｇ ｏｆ Ｂｉｇ Ｄａｔａ Ｐｕｂｌｉｃ Ｐｌａｔｆｏｒｍ
ＬｕＹａｎ
Ａｂｓｔｒａｃｔ：Ｂｙ ｅｘｐｌｏｒｉｎｇ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｓｃｉｅｎｃｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｉｅｓ ｂｉｇ ｄａｔａ ｐｕｂｌｉｃ ｐｌａｔｆｏｒｍ，ｔｈｉｓ ｓｔｕｄｙ ａｎａｌｙｚｅｓ ｔｈｅ ｓｙｓｔｅｍａｔｉｃ
ｓｔｒｕｃｔｕｒｅ ａｎｄ ｐｒｏｖｉｄｅｓ ｔｈｅ ｃｏｎｓｔｒｕｃｔｉｏｎ ｉｍｐｌｉｃａｔｉｏｎｓ ｏｆ ｂｉｇ ｄａｔａ ｐｕｂｌｉｃ ｐｌａｔｆｏｒｍ．Ｔｈｅ ｒｅｓｅａｒｃｈ ｆｉｎｄｉｎｇｓ ｉｎｃｌｕｄｅ：①ｔｈｅ ｂｉｇ ｄａｔａ ｐｕｂ－ ｌｉｃ ｐｌａｔｆｏｒｍ ｉｓ ｃｈａｒａｃｔｅｒｉｚｅｄ ｂｙ ａｐｐＩｉｃａｔｉｏｎ—ｏｄｅｎｔｅｄ，ｔｗｏ－ｗａｙ ｏｐｅｎ，ｍａｒｇｉｎａｌ ｃｏｓｔ ｆｌｅｅ，ｔｅｃｈｎｏｌｏｇｙ ｃｏｌｌｅｃｔｅｄ，ａｎｄ ｇｏｖｅｍ－
ｍｅｎｔ－ｄｒｉｖｅｎ；②ｔｈｅ ｂｉｇ ｄａｔａ ｐｕｂｌｉｃ ｐｌａｔｆｏｒｍ ｉｓ ａ ｕｎｂｏｕｎｄｅｄ ｖｉｒｔｕａｌ ｐｌａｔｆｏｒｍ ｓｙｓｔｅｍ，ｓｔｒｕｃｔｕｒｅｄ ｂｙ ｔｈｒｅｅ ｍｏｄｕｌｅｓ，ｃｏｎｓｉｓｔｉｎｇ ｏｆ
