大数据概述
目录
第一章大数据的定义 (3)
1、大数据时代的背景 (3)
2、大数据时代的到来 (3)
3、大数据的特征 (4)
第二章大数据的相关技术 (5)
1、对现有技术的挑战 (5)
2、大数据处理技术 (5)
3、大数据与云计算 (6)
4、大数据与分布式技术 (8)
第三章大数据在各个领域的应用 (10)
1、大数据在互联网企业的应用 (10)
2、大数据在政府机构的应用 (11)
3、银行业在大数据的应用 (11)
第四章大数据在未来的展望 (14)
第一章大数据的定义
1、大数据时代的背景
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快，创造出了“大数据（Big Data）”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。
Big Data是近来的一个技术热点，历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被誉为数据仓库之父的Bill Inmon 早在20世纪90年代就经常提及Big Data。
2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念。
21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。
2、大数据时代的到来
近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据，数以亿计用户的互联网服务时时刻刻在产生巨量的交互。
互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据：1）全球每秒钟发送2.9 百万封电子邮件；2）每天会有2.88 万个小时的视频上传到Youtube；3）推特上每天发布5 千万条消息；4）每天亚马逊上将产生6.3 百万笔订单；4）每个月网民在Facebook 上要花费7 千亿分钟；5）Google 上每天需要处理24PB 的数据。
根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律），并且大量新数据源的出现则导致了非结构化、半结构化数据爆发
式的增长，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35亿GB的数据量，相较于2010年，数据量将增长近30倍。这不是简单的数据增多的问题，而是全新的问题。
大数据时代的到来，使我们要处理的数据量实在是太大、增长太快了，而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求，传统的常规技术手段根本无法应付。
3、大数据的特征
1）数据量大（Volume）
大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。非结构化数据的超大规模和增长，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍。
2）类型繁多（Variety）
大数据的类型可以包括网络日志、音频、视频、图片、地理位置信息等等，具有异构性和多样性的特点，没有明显的模式，也没有连贯的语法和句义，多类型的数据对数据的处理能力提出了更高的要求。
3）价值密度低（Value）
大数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，存在大量不相关信息。因此需要对未来趋势与模式做可预测分析，利用机器学习、人工智能等进行深度复杂分析。而如何通过强大的机器算法更迅速地完成数据的价值提炼，是大数据时代亟待解决的难题。
4）速度快时效高（Velocity）
处理速度快，时效性要求高，需要实时分析而非批量式分析，数据的输入、处理和分析连贯性地处理，这是大数据区分于传统数据挖掘最显著的特征。
面对大数据的全新特征，既有的技术架构和路线，已经无法高效地处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
第二章大数据的相关技术
1、对现有技术的挑战
1) 对现有数据库管理技术的挑战
传统的数据库部署不能处理数TB 级别的数据，也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。如何构建全球级的分布式数据库(Globally-Distributed Database) ，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行数据。
2) 对经典数据库技术的挑战
经典数据库存并没有考虑数据的多类别（variety），SQL（结构化数据查询语言），在设计的一开始是没有考虑非结构化数据的。
3）实时性的技术挑战
传统的数据仓库系统和各类BI应用，对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。
4）对网络架构、数据中心、运维的挑战
人们每天创建的数据量正呈爆炸式增长，但就数据保存来说，我们的技术改进不大，而数据丢失的可能性却不断增加。如此庞大的数据量首先在存储上就会是一个非常严重的问题，硬件的更新速度将是大数据发展的基石。
2、大数据处理技术
面对大数据时代的到来，技术人员纷纷研发和采用了一批新技术，主要包括分布式缓存、
基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。充分地利用这些技术，加上企业全面的用以分析的数据，可更好地提高分析结果的真实性。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。
以下是一些目前应用较为广泛的技术：
1）分析技术：
数据处理：自然语言处理技术；
统计和分析：A/B test; top N排行榜；地域占比；文本情感分析；
数据挖掘：关联规则分析；分类；聚类；
模型预测：预测模型；机器学习；建模仿真；
2）大数据技术：
数据采集：ETL工具；
数据存取：关系数据库；NoSQL；SQL等；
基础架构支持：云存储；分布式文件系统等；
计算结果展现：云计算；标签云；关系图等；
3）数据存储技术
结构化数据：海量数据的查询、统计、更新等操作效率低；
非结构化数据：图片、视频、word、pdf、ppt等文件存储；不利于检索、查询和存储
半结构化数据：转换为结构化存储；按照非结构化存储；
4）解决方案：
Hadoop（MapReduce技术）
流计算（twitter的storm和yahoo！的S4）
3、大数据与云计算
云计算的模式是业务模式，本质是数据处理技术。大数据是资产，云为数据资产提供存储、访问和计算。大数据与云计算是相辅相成的。
1）云计算及其分布式结构
当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。
大数据处理技术正在改变目前计算机的运行模式，正在改变着这个世界：它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其它形态的数据；它工作的速度非常快速：实际上几乎实时；它具有普及性：因为它所用的都是最普通低成本的硬件，而云计算它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持大数据存储和处理需求。这样的低成本硬件+低成本软件+低成本运维，更加经济和实用，使得大数据处理和利用成为可能。
2）云数据库
NoSQL被广泛地称为云数据库，因为其处理数据的模式完全是分布于各种低成本服务器和存储磁盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它采用分布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业务需求，但是还无法彻底解决大数据存储管理需求。云计算对关系型数据库的发展将产生巨大的影响，而绝大多数大型业务系统（如银行、证券交易等）、电子商务系统所使用的数据库还是基于关系型的数据库，随着云计算的大量应用，势必对这些系统的构建产生影响，进而影响整个业务系统及电子商务技术的发展和系统的运行模式。基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库（CloudDB），提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在线分析处理（OLAP）和在线事务处理(OLTP) 能力，提供了超强性能的数据库云服务，并成为集群环境和云计算环境的理想平台。它是一个高度可扩展、安全和可容错的软件，客户能通过整合降低IT成本，管理位于多个数据，提高所有应用程序的性能和实时性做出更好的业务决策服务。
因此，云数据库要能够满足：A．海量数据处理：对类似搜索引擎和电信运营商级的经营分析系统这样大型的应用而言，需要能够处理PB级的数据，同时应对百万级的流量。B．大规模集群管理：分布式应用可以更加简单地部署、应用和管理。C．低延迟读写速度：
快速的响应速度能够极大地提高用户的满意度。D．建设及运营成本：云计算应用的基本要求是希望在硬件成本、软件成本以及人力成本方面都有大幅度的降低。
所以云数据库必须采用一些支撑云环境的相关技术，比如数据节点动态伸缩与热插拔、对所有数据提供多个副本的故障检测与转移机制和容错机制、SN（Share Nothing）体系结构、中心管理、节点对等处理实现连通任一工作节点就是连入了整个云系统、与任务追踪、数据压缩技术以节省磁盘空间。
4、大数据与分布式技术
1）分布式数据库
支付宝公司在国内最早使用Greenplum数据库，将数据仓库从原来的Oracle RAC平台迁移到Greenplum集群。Greenplum强大的计算能力用来支持支付宝日益发展的业务需求。
Greenplum数据引擎软件专为新一代数据仓库所需的大规模数据和复杂查询功能所设计，基于MPP（海量并行处理）和Shared-Nothing（完全无共享）架构，基于开源软件和x86商用硬件设计（性价比更高）。
2）分布式文件系统篇
分布式文件系统中，其中Google的GFS是基于大量安装有Linux操作系统的普通PC构成的集群系统，整个集群系统由一台Master（通常有几台备份）和若干台TrunkServer构成。
GFS中文件备份成固定大小的Trunk分别存储在不同的TrunkServer上，每个Trunk有多份（通常为3份）拷贝，也存储在不同的TrunkServer上。Master负责维护GFS中的Metadata，即文件名及其Trunk信息。客户端先从Master上得到文件的Metadata，根据要读取的数据在文件中的位置与相应的TrunkServer通信，获取文件数据。
在Google的论文发表后，就诞生了Hadoop。截至今日，Hadoop被很多中国最大互联网公司所追捧，百度的搜索日志分析，腾讯、淘宝和支付宝的数据仓库都可以看到Hadoop 的身影。
Hadoop具备低廉的硬件成本、开源的软件体系、较强的灵活性、允许用户自己修改代码等特点，同时能支持海量数据存储和计算任务。
Hive是一个基于Hadoop的数据仓库平台，将转化为相应的MapReduce程序基于Hadoop 执行。通过Hive，开发人员可以方便地进行ETL开发。
如图所示，是Hive和Hadoop的关系图：
3）HBase
随着数据量增长，越来越多的人关注NoSQL，特别是2010年下半年，Facebook选择HBase 来做实时消息存储系统，替换原来开发的Cassandra系统。这使得很多人开始关注HBase。
Facebook选择HBase是基于短期小批量临时数据和长期增长的很少被访问到的数据这两个需求来考虑的。
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。HBase是BigTable的开源实现，使用HDFS 作为其文件存储系统。Google运行MapReduce来处理BigTable中的海量数据，HBase同样利用MapReduce来处理HBase中的海量数据；BigTable利用Chubby作为协同服务，HBase 则利用Zookeeper作为对应。
第三章大数据在各个领域的应用
1、大数据在互联网企业的应用
1）IBM：
IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）;业务事件处理；IBM Mashup Center的计量，监测，和商业化服务（MMMS）IBM的大数据产品组合中的最新系列产品的InfoSphere bigInsights，基于Apache Hadoop。
该产品组合包括：打包的Apache Hadoop的软件和服务，代号是bigInsights核心，用于开始大数据分析；软件被称为bigsheet，软件目的是帮助从大量数据中轻松、简单、直观的提取、批注相关信息；为金融，风险管理，媒体和娱乐等行业量身定做的行业解决方案；2）阿里巴巴：
基于对大数据价值的沉淀，依据信用体系等，马云将集团下的阿里金融与支付宝两项核心业务合并成立阿里小微金融。另外，为了便于在内部解决数据的交换、安全和匹配等问题，阿里集团还搭建了一个数据交换平台。在这个平台上，各个事业群可以实现数据的内部流转，实现价值最大化。
3）EMC：
EMC 斩获了纽交所和Nasdaq，提供大数据解决方案已包括40多个产品。
4）Oracle：
Oracle大数据机与Oracle Exalogic中间件云服务器、Oracle Exadata数据库云服务器以及Oracle Exalytics商务智能云服务器一起组成了甲骨文最广泛、高度集成化系统产品组合。
2、大数据在政府机构的应用
在以下几个方面，可以进一步协助发挥政府机构的职能作用：
1）重视应用大数据技术，盘活各地云计算中心资产：把原来大规模投资产业园、物联网产业园从政绩工程，改造成智慧工程；
2）在安防领域，应用大数据技术，提高应急处置能力和安全防范能力；
3）在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育等部门；
4）解决在金融，电信领域等中数据分析的问题：一直得到得极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；
3、银行业在大数据的应用
1）民生银行
民生银行建立统一的金融科技平台，根据数据智能分析向前台提供服务与反馈，支持实现以客户为中心的服务模式与体验，并整合日益互联互通的各种服务渠道；平台建立持续从广泛的来源获取、量度、建模、处理、分析大容量多类型数据的功能；及时在互联互通的流程、服务、系统间共享数据，并将经过智能分析与加工的数据用于业务决策与支持，智能化分析和预测客户需求。通过部署云计算，实现自动化、高能效、虚拟化和标准化的云部署目标，洞察大数据推动了民生银行的转型与创新。
2）中信银行信用卡中心
中信银行近年来发卡量增长迅速，业务数据增长迅速，业务数据规模也线性膨胀，因此在数据存储、系统维护、数据有效利用等方面都面临巨大压力。
面对业务的不断增长，需要建设可扩展、高性能的数据仓库解决方案，能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。
采用大数据方案，可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高。
中信银行通过利用大数据方案实现了秒级营销，使用Greenplum数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。
3）建设银行
未来互联网金融模式下资源配置的特点是：资金供需信息直接在网上发布并匹配，供需双方甚至不需银行、券商或交易所等中介，直接匹配完成信评级的重要依据。
中国建设银行充分跟进大数据时代的脚步，建立善融商务企业商城，面向阿里巴巴普通会员全面放开，不用提交任何担保、抵押，只需凭借企业的信用资源就可以“微贷”。“微贷”通过网络低成本广泛采集客户的各类数据信息，分析挖掘的数据，判断客户资质，用户可以24小时随用随借、随借随还。在善融商务平台上，每一笔交易，建行都有记录并且能鉴别真伪，可作为客户授信评级的重要依据。此外，还对消费者购买行为的分析，比如点击量、跨店铺点击，订单流转量甚至聊天信息的收集和分析。
4）光大银行
光大银行在大数据方面也做了多方面的尝试。正在尝试打通社会化大数据库，期待社会化数据内外通达，例如把银行内部的客户号和新浪的微博号挂接起来，在一定程度上实现群体营销；另外，外部数据引入的动作很关键，把微博、QQ、邮箱等社交化的、能很快找到客户的方式能通达起来。跟传统的数据存储放一起，同等对待，建立一个更加立体丰富的数据库。基于以上思考，光大银行在新浪微博开发平台上做了一个缴费应用——“V缴费”。
光大银行目前正在尝试前瞻性的应用，如在线营销方案、微博营销（把微博上用户跟我们光大银行用户相匹配，采用中文分析引擎）、客户行为分析（包括电话语音、网络的监控录像等）和风险控制与管理（结构化非结构化数据整合，分析系统存在IT风险或者钓鱼网站防欺诈），等等。
5）摩根大通
摩根在以下几个方面也开始着手大数据建设：(1) 开始使用Hadoop技术以满足日益增多的用途，包括诈骗检验、IT风险管理和自助服务; (2) 使用分布式存储平台，存储150PB 在线存储数据、30,000个数据库和35亿个用户登录账号; (3)利用Hadoop能够存储大量非结构化数据，允许公司收集和存储Web日志、交易数据和社交媒体数据; (4) 数据被汇集至一个通用平台，以方便以客户为中心的数据挖掘与数据分析工具的使用。
6）阿里金融
中国将近4200万小微企业，占企业总数的的97.3%。由于分布零散、业务不规范、盈
利不明朗、信贷时间长、信用难以构建等现状，使得小微企业的贷款相当困难。基于阿里
巴巴在B2C多年来的建树，提出了大数据与小而美的金融信贷，它是完全是构建在互联网的基础上，通过数据分析，以自主服务模式为主的、面对小微企业的信贷工厂，具有24小时开放、随时申请、随时审批、随时发放的特点，是纯互联网的小额信贷服务。
第四章大数据在未来的展望
大数据在未来的价值，在于催生新型商业智能！
未来，企业会依靠洞悉数据中的信息更加了解自己，也更加了解客户。
由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但他们并不急需使用也不擅长再次利用这些数据。例如，移动电话运营商手机用户的位置信息来传输电话信号，这对以他们来说，数据只有狭窄的技术用途。但当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。
其中三者兼具的谷歌公司，谷歌在刚开始收集数据的时候就已经有多次使用数据的想法。比方说，它的街景采集车手机全球定位系统数据不只是为了创建谷歌地图，也是为了制成全自动汽车以及谷歌眼镜等与实景交汇的产品。
传统针对海量数据的存储处理，通过建立数据中心，建设包括大型数据仓库及其支撑运行的软硬件系统，设备（包括服务器、存储、网络设备等）越来越高档、数据仓库、OLAP 及ETL、BI等平台越来越庞大，但这些需要的投资越来越大，而面对数据的增长速度，越来越力不从心，所以基于传统技术的数据中心建设、运营和推广难度越来越大。
另外一般能够使用传统的数据库、数据仓库和BI工具能够完成的处理和分析挖掘的数据，还不能称为大数据，这些技术也不能叫大数据处理技术。面对大数据环境，包括数据挖掘在内的商业智能技术正在发生巨大的变化。传统的传统商业智能技术，包括数据挖掘，主要任务是建立比较复杂的数据仓库模型、数据挖掘模型，来进行分析和处理不太多的数据。
而在未来，由于有云计算模式、分布式技术和云数据库技术的应用，我们不需要这么复杂的模型，不用考虑复杂的计算算法，就能够处理大数据，对于不断增长的业务数据，用户也可以通过添加低成本服务器甚至是PC机也可以来处理海量数据。
所以大数据，实际是对传统商业智能的发展和促进，商业智能将出现新的发展机遇，面对风云变幻的市场环境，快速建模，快速部署是新商业智能平台的强力支撑。
大数据服务平台简介 1.1 建设目标 大数据服务平台以“整合资源、共享数据、提供服务”为指导思想，构建满足学校各部门信息化建设需求，进而更好为广大师生、各级管理人员、院领导等角色提供集中、统一的综合信息服务。因此， 要建设大数据服务平台 主要包括综合查询，教学、科研、人事、学生、图书、消费、资产、财务等数据统计分析和数据采集终端(含数据录入及数据导入)。通过此平台为学校的校情展示提供所需的基础数据，为学校的决策支持积累所需的分析数据，为广大师生、各级管理人员、校领导的综合信息服务提供所需的开发数据，为学校的应用系统建设提供所需的公共数据。 1.2建设效益 协助领导决策、提供智能分析手段 通过建设大数据服务平台： 为校领导提供独特、集中的综合查询数据，使校领导能够根据自身需要随时查询广大师生的个人情况，有助于校领导及时处理广大师生的各种诉求。 为校领导提供及时、准确的辅助决策支持信息，使校领导能够全面掌握多方面的信息，有助于校领导提高决策的科学性和高效性(以往各部门向校领导提供的信息往往只从部门角度考虑，而校领导无法及时获取多方面的信息，无法及时做出决策)。 为校领导提供丰富、全面的校情展示数据，使校领导能够实时掌握教学、科研、人事、学生、图书、消费、资产、财务等情况，有助于校领导制定学校未来发展战略。 为校领导提供教育部《普通高等学校基本办学条件指标》检测报表，包括具有高级职务教师占专任教师的比例、生均占地面积、生均宿舍面积、百名学生配教学用计算机台数、百名学生配多媒体教室和语音实验室座位数、新增教学科研仪器设备所占比例、生均年进书量。对提高教学质量和高等学校信息化程度等具有积极的指导作用。 1.3 建设内容 基于中心数据库，将学校长期以来积累的大量管理数据以一种多维的形式进行重新组织，多层次、多维度的整合、挖掘和分析，从各个层面、各个角度充分展示学校的办学理念、教学质量、科研水平、师资队伍、学生风貌、后勤保障、办学条件等，为各级管理人员、校领导科学决策提供强
大数据产业的发展现状及发展举措 摘要：数据是信息化时代的“石油”。随着大数据的 兴起，与大数据技术相关的产业已成为抢占全球科技发展战略的制高点。本文在分析大数据产业分类及特点的基础上，重点探讨了我国大数据产业的发展现状和发展举措，以期为我国大数据产业发展探索更明晰的思路。 关键词：大数据；大数据产业；发展现状；发展举措 随着大数据的兴起，与大数据技术相关的产业已成为抢占全球科技发展战略的制高点。大数据产业是以互联网、物联网为基础建立起来的一种信息服务业，适时发展大数据产业不仅有助于提高信息资源的利用率，促进国家治理模式和企业决策流程重塑，而且还有利于进一步加强产业创新能力，促进我国创新型国家的早日建成。 一、大数据产业分类及特点 （一）大数据产业分类 根据不同的角度，大数据产业有不同的划分方法。一是二分法。根据占有大数据情况不同，大数据产业可以分为自身生产数据或获取数据的产业和为大数据产业生产基础设 施和技术支持的大数据衍生产业；二是三分法。根据数据的营销模式不同，大数据产业可以分为数据产品销售，为用户
提供个性化服务的服务类产业、整合数据为用户提供整套服务的产业以及通过专业化分析为用户提供产品销售和广告 推介的产业；三是五分法。根据价值模式不同，大数据产业可以分为五种模式：内生型、外生型、寄生型、产品型以及云计算服务型。 （二）大数据产业特点 一是产业服务个性化。据相关调查显示，利用数据进行分析的企业不仅在销售额上比未运用数据分析的企业增长 百分之二十，而且在企业增长率上表现得更为突出，高达百分之五十。由此可见，种类广泛、数量庞大的大数据不仅能够挖掘用户需求，开展个性化定制，创造巨大的价值，而且还能满足高端客户的需求，提升企业生产率，获得更高的经济受益。换句话说，大数据产业已成为企业实现个性化发展的重要工具。二是产业决策智能化。随着大数据产业的发展，大数据产业不仅能促进劳动与资本一体化，提升企业自身的决策智能化发展水平，而且还能推动生产组织去中心化，为行业决策智能化提供平台。过去，局限于信息化技术发展水平，企业只关注数据的存储和传输，对数据的获取、分析和处理还不足企业存储和传输信息的百分之五，也就是说，大数据作为企业发展的重大战略仍未得到充分的重视，其在推动企业决策智能化和科学化发展过程中未能发挥领头羊的 作用。三是产业技术的高创新性。在大数据时代，数据已渗
大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，不管什么，都要带上“大数据”三个字才显得时髦。大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。 一、基本概念 在讲什么是大数据之前，我们首先需要厘清几个基本概念。 1.数据 关于数据的定义，大概没有一个权威版本。为方便，此处使用一个简单的工作定义:数据是可以获取和存储的信息。 直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。
不过数值是所有数据中最容易被处理的一种，许多和数据相关的概念，例如下面的数据可视化和数据分析，最早是立足于数值数据的。 传统意义上的数据一词，尤其是相对于今天的“大数据”的“小数据”,主要指的就是数值数据，甚至在很多情况下专指统计数值数据。这些数值数据用来描述某种客观事物的属性。 2.数据可视化 对应英语的data visulization(或可译为数据展示)，指通过图表将若干数字以直观的方式呈现给读者。比如非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。 3.数据分析 这一概念狭义上，指统计分析，即通过统计学手段，从数据中精炼对现实的描述。例如:针对以关系型数据库中以table形式存储的数据，按照某些指定的列进行分组，然后计算不同组的均值、方差、分布等。再以可视化的方式讲这些计算结果呈现出来。目前很多文章中提及的数据分析，其实是包括数据可视化的。
考试：大数据概述及基本概念 试卷年份：2015年 题量：10题 答题时间：分钟 总分：100分 合格线：60分 1 【单选】下列不属于商业大数据类型的是（） A. 传统企业数据 B. 机器和传感器数据 C. 社交数据 D. 电子商务数据 A B C D 正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等的技术。凡涉及到这些过程和技术的工作部门，都可称作（）部门 A. 技术 B. 研究 C. 信息 D. 管理 A B C D 正确答案：C 3 【单选】数据本身所承载的信息内容是指（） A. 内容维度 B. 关系维度 C. 时空维度 D. 维度的交叉综合 A B
C D 正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（） A. 数据交易技术 B. 数据交互技术 C. 数据存储技术 D. 数据处理技术 A B C D 正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（） A. 结构化信息 B. 非结构化信息 C. 半结构化信息 D. 特殊化信息 A B C D 正确答案：A B C 6 【多选】“大数据”的特点是（） A. 数据体量大 B. 数据类别大 C. 数据处理速度快 D. 数据真实性高 A B C D 正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（）
A. 正确 B. 错误 正确 错误 正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（） A. 正确 B. 错误 正确 错误 正确答案：正确 9 【判断】可视化是给机器看的，数据挖掘就是给人看的（） A. 正确 B. 错误 正确 错误 正确答案：错误 10 【判断】全球数据的90%产生于过去2年内（） A. 正确 B. 错误 正确 错误 正确答案：正确
计算平台 概要设计说明书 作者：日期：2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究）
文件修改记录
目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图..................................
第一章数据库系统概论 本章目的在于使读者对数据库系统的基本知识能有一个较为全面的了解，为今后的学习和工作打下基础。本章重点介绍了有关数据库结构和数据库系统组织的基本知识和基本概念，以及常见的三种类型的数据库系统的特点。重点介绍关系数据库的有关知识。 1.1 数据管理技术发展史 随着生产力的不断发展，社会的不断进步，人类对信息的依赖程度也在不断地增加。数据作为表达信息的一种量化符号，正在成为人们处理信息时重要的操作对象。所谓数据处理就是对数据的收集、整理、存储、分类、排序、检索、维护、加工、统计和传输等一系列工作全部过程的概述。数据处理的目的就是使我们能够从浩瀚的信息数据海洋中，提取出有用的数据信息，作为我们工作、生活等各方面的决策依据。数据管理则是指对数据的组织、编码、分类、存储、检索和维护，它是数据处理的一个重要内容中心。数据处理工作由来以久，早在1880 年美国进行人口普查统计时，就已采用穿孔卡片来存储人口普查数据，并采用机械设备来完成对这些普查数据所进行的处理工作。电子计算机的出现以及其后其硬件、软件的迅速发展，加之数据库理论和技术的发展，为数据管理进入一个革命性阶段提供有力的支持。根据数据和应用程序相互依赖关系、数据共享以及数据的操作方式，数据管理的发展可以分为三个具有代表性的阶段，即人工管理阶段、文件管理阶段和数据库管理阶段。 【1 】人工管理阶段 这一阶段发生于六十年代以前，由于当时计算机硬件和软件发展才刚刚起步，数据管理中全部工作，都必须要由应用程序员自己设计程序完成去完成。由于需要与计算机硬件以及
各外部存储设备和输入输出设备直接打交道，程序员们常常需要编制大量重复的数据管理基 本程序。数据的逻辑组织与它的物理组织基本上是相同的，因此当数据的逻辑组织、物理组织或存储设备发生变化时，进行数据管理工作的许多应用程序就必须要进行重新编制。这样就给数据管理的维护工作带来许多困难。并且由于一组数据常常只对应于一种应用程序，因此很难实现多个不同应用程序间的数据资源共享。存在着大量重复数据，信息资源浪费严重。【2 】文件管理阶段 这一阶段发生于六十年代，由于当时计算机硬件的发展，以及系统软件尤其是文件系统的出现和发展，人们开始利用文件系统来帮助完成数据管理工作，具体讲就是：数据以多种组织结构（如顺序文件组织、索引文件文件组织和直接存取文件组织等）的文件形式保存在外部存储设备上，用户通过文件系统而无需直接与外部设备打交道，以此来完成数据的修改、插入、删除、检索等管理操作；使用这种管理方式，不仅减轻进行数据管理的应用程序工作量，更重要地是，当数据的物理组织或存储设备发生变化时，数据的逻辑组织可以不受任何影响，从而保证了基于数据逻辑组织所编制的应用程序也可以不受硬件设备变化的影响。这样就使得程序和数据之间具有了一定的相互独立性。 但由于数据文件的逻辑结构完全是根据应用程序的具体要求而设计，它的管理与维护完全是由应用程序本身来完成，因此数据文件的逻辑结构与应用程序密切相关，当数据的逻辑结构需要修改时，应用程序也就不可避免地需要进行修改；同样当应用程序需要进行变动时，常常又会要求数据的逻辑结构进行相应的变动。在这种情况下，数据管理中的维护工作量也是较大的。更主要的是由于采用文件的形式来进行数据管理工作，常常需要将一个完整的、相互关联的数据集合，人为地分割成若干相互独立的文件，以便通过基于文件系统的编程来实现来对它们的管理操作。这样做同样会导致数据的过多冗余和增加数据维护工作的复杂性。例如人事部门、教务部门和医务部门对学生数据信息的管理，这三个部门中有许多数据是相同的，如姓名、年龄、性别等，由于是各部门均是根据自己的要求，建立各自的数据文件和应用程序，这样不仅造成了大量的相同数据重复存储，而且在修改时，常常需要同时修改三个文件中的数据项，如修改学生年龄，此外若需要增加一个描述学生的数据项，如通讯地址，那么所有的应用程序就必须都要进行相应的修改。除此之外，采用文件系统来帮助进行数据管理工作，在数据的安全和保密等方面，也难以采取有效的措施加以控制。 3 】数据库管理阶段 1在不断改进和完善文件系统的过程中，从六十年代后期开始，人们逐步研究和发展了以数据的统一管理和数据共享为主要特征的数据库系统。即在数据在统一控制之下，为尽可能多的应用和用户服务，数据库中的数据组织结构与数据库的应用程序相互间有较大的相对独立性等。与以往前数据管理方法和技术相比，利用数
浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代，实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略，吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向！ 今天，我拟回顾大数据的发端、发展和现状，研判大数据的未来趋势，简述我国大数据发展的态势，并汇报我对信息化新阶段和数字经济的认识，以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大多数学者认为，“大数据”这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格
第1章数据库基础与管理信息系统概述 数据库广泛地应用于各企业组织和政府机构，与人们的日常生活息息相关。在现代信息社会中，将有更高比例的人力物力投入信息产业。数据是信息产业的原料，数据需要经过组织和管理才能发挥它的实用性。然而管理数据的有效利器就是数据库和与它相关的数据库管理系统。大家知道Delphi在开发数据库及设计应用程序界面方面有着不同寻常的优势，开发简单、设计方便、容易上手、帮助完善，只要对编程略有基础则使用Delphi开发一般的应用程序界面及数据库应用程序都易如反掌，所以它越来越受程序员的青睐。业界盛传执着的程序员使用C++，聪明的程序员使用Delphi。使用Delphi编程往往可以使程序员的工作事半功倍，因此目前开发小型的管理信息系统大都采用Delphi。 本章首先介绍数据库的常用基本概念、传统数据库的发展阶段，给出应该掌握的基本术语、概念；然后介绍管理信息系统的定义、特点、结构、分类，以及管理信息系统的开发方法。 1.1 什么是数据库 数据库描述了现实世界中的某些方面，构成了现实世界中的一个微小世界。数据库是一个逻辑上紧密相连的数据集。该数据集中的数据具有某些固有的语义含义。数据库是为某个特定目标设计、建立和使用的，它拥有确定的用户组和这些用户组感兴趣的预定的应用。数据库是一个持久数据的集合，这些数据用于某种应用系统中，是由一个或几个数据表格组成的，数据表格是由数据组成的，是一个统一管理的相关数据的集合，数据库的特点是能被各种用户共享，具有最小的冗余度，数据间有紧密的联系但又有较高的对程序的独立性。 数据库中的表、视图、存储过程、索引等具体存储数据或对数据进行操作的实体，称为数据库的对象。数据库是这些对象的集合，该集合中容纳着各种各样的数据库对象。 1.2 数据库管理技术的发展阶段 数据管理指的是对数据的分类、组织、编码、储存、检索和维护。计算机信息系统是一类数据密集型的应用，不论哪一类信息系统，都建立在大量数据事实基础之上，管理这种大量的、持久的、共享的数据是这类计算机应用面临的共同问题。 数据库管理技术大致经历了3个阶段： ?人工管理阶段。 ?文件管理阶段。 ?数据库系统阶段。
考试：大数据概述及基本概念 1 【单选】下列不属于商业大数据类型的是（） ? A. 传统企业数据 ? B. 机器和传感器数据 ? C. 社交数据 ? D. 电子商务数据 ? A ? B ? C ? D ?正确答案：D 2 【单选】信息技术是指有关信息的收集、识别、提取、变换、存贮、传递、处理、检索、检测、分析和利用等凡涉及到这些过程和技术的工作部门，都可称作（）部门 ? A. 技术 ? B. 研究 ? C. 信息 ? D. 管理 ? A
? B ? C ? D ?正确答案：C 3 【单选】数据本身所承载的信息内容是指（） ? A. 内容维度 ? B. 关系维度 ? C. 时空维度 ? D. 维度的交叉综合 ? A ? B ? C ? D ?正确答案：A 4 【多选】大数据平台的三个重要的技术部分有（）? A. 数据交易技术 ? B. 数据交互技术 ? C. 数据存储技术
? A ? B ? C ? D ?正确答案：A B D 5 【多选】互连网上出现的海量信息可以划分为三种，分别为（）? A. 结构化信息 ? B. 非结构化信息 ? C. 半结构化信息 ? D. 特殊化信息 ? A ? B ? C ? D ?正确答案：A B C 6 【多选】“大数据”的特点是（） ? A. 数据体量大
? C. 数据处理速度快 ? D. 数据真实性高 ? B ? C ? D ?正确答案：A B C D 7 【判断】结构化数据是指不方便用数据库二维逻辑表来表现的数据（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：错误 8 【判断】数据存储是大数据平台的根本。没有了存储平台，数据也就没有了载体（）? A. 正确 ? B. 错误 ?正确
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.doczj.com/doc/ff12670944.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据平台概要设计说 明书 Coca-cola standardization office【ZZ5AB-ZZSYT-ZZ2C-ZZ682T-ZZT18】
计算平台 概要设计说明书 作者：日期： 2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究）
文件修改记录
目录
1.引言 1.1编写目的 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。 互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是 10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。 信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是____年12月xx全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务、xx零售业、制造业、欧盟公共部门及xx健康医疗领域有很大的增长潜力。数据正在被商业化，来自网络、智能手机、传感器、相机、支付系统以及其他途径的数据形成了一项资产，产生了巨大的商业价值。苹果、亚马逊、Facebook、xx、通用微软以及阿里巴巴集团利用大数据分析及自己的优势改变了竞争的基础，建立了全新的商业模式。稀缺数据的所有者利用数字化网络平台在一些市场近乎垄断，只需用独特方式将数据整合分析，提供有价值的数据分析，几乎可以“赢家通吃”。____年全球的数据储量就达到1.8ZB，与____年相比____年大数据增长了近4倍，未来十年，全球数据存储量还将增长十倍，大数据成为提升产业竞争力和创新商业模式的新途径。大数据在企业中得到了充分的应用并实现了巨大的商业价值。xx百货的SAS系统可以根据7300种货品的需求和库存实现实时定价。零售业寡头摩尔xx通过最新的搜索引擎Polaris，利用语义数据技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“xx闺中”，成为极大的浪费。____年，国务院印发《促进大数据发展行动纲要》，明确要求“____年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系统整合共享实施方案》，进一步推动政府数据向社会开放。 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在公共交通、公共安全、社会管理等领域的应用。大数据与xx计算、物联网一起使得很多事情成为可能，将会是新的经济增长点。大数据随着以数据科学为核心的计算机技术的迅猛发展，推动了社会科学与自然科学等跨科学研究的发展。因此对xx乃至全国的大数据研究具有深刻而广泛的意义。
大数据发展现状与未来发展趋势研究 朱孔村 （江苏省科学技术情报研究所，江苏南京210042） 【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。 【关键词】大数据；现状；趋势 【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术 随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。 大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。 少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段 从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为 总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -
2019年中国大数据时代发 展调查报告
大数据产业有望成为拉动经济发展的新风口。工信部信息化和软件服务业司司长陈伟近日在媒体通气会上表示，目前包括北京、上海、贵州等先行先试的地方大数据产业和应用发展已初见成效。 工信部将出台促进大数据产业发展的推进计划，促进规划、标准、技术、产业、安全、应用协同发展。其中，在标准化方面，正在研制的10项国家标准中，8项已完成草案。下一步将重点开展数据格式接口、开放共享等标准体系建设。 近日国务院印发《促进大数据发展行动纲要》，为我国大数据发展进行了顶层设计和统筹部署。工信部主要负责大数据产业发展以及应用示范相关工作。目前我们已支持和指导北京、上海、贵州、广州、陕西等地大数据产业和应用发展。陈伟表示。他透露这些地方先行先试，主动探索，已初见成效。 数据显示，XX年我国软件和信息技术服务业实现软件业务收入3.7万亿元，同比增长超过20%。其中，贵州省电子信息产业规模总量1437亿元，比上年增长60.6%。 而中国信息通信研究院不久前发布的《XX年中国大数据发展调查报告》预测，XX年中国大数据市场规模将达到115.9亿元，增速达38%。未来随着应用效果的逐步显现，一些成功案例将产生示范效应，预计XX年至2018年中国大数据市场规模还将维持40%左右的高速增长。 不过，由于大数据产业和应用发展迅猛，亟需通过标准化的途径整合资源，固化现有成果，促进各方达成共识，形成统一的数据格式、接口、安全、开放等各类规范，为我国数据开放共享提供基础，为数据安全应用提供保障，促进数据交易等新兴服务模式规范发展。 围绕大数据标准化，下一步将重点开展以下工作： 1.推动标准体系建设，推进数据格式接口、开放共享、数据质量、数据安全、大数据平台等重点标准研制 2.加强标准验证和应用试点示范，建立标准符合性评估体系，推动标准对产业和应用的支撑作用 3.继续积极参与国际标准化制定工作 事实上，在工信部和国标委的领导下，早在XX年12月2日全国信息技术标
计算机科学与技术专业 《云计算与大数据概论》教学大纲 一、课程基本信息 课程中文名称：云计算与大数据概论 课程代码： 学分与学时：4学分，６4学时(其中，理论学时58，实验学时6) 课程性质:必修课程 授课对象：计算机科学与技术专业 二、课程教学目标与任务 本课程就是理论性与应用性均较强得课程,通过本课程得学习,了解云计算与大数据发展概况，掌握云计算技术、云计算体系结构,了解当前主流得云计算平台，了解大数据开发技术,掌握Hadoop平台得应用方式，理解ＭａpReducｅ、PＩＧ与Hbaｓe，了解云计算与大数据安全得标准与规范。 三、学时安排 四、课程教学内容与基本要求 第1章云计算与大数据概述 教学目得：通过本章学习，掌握云计算与大数据得概念，了解云计算与大数据技术得发展现状，掌握云计算与大数据得特点与优势，了解云计算分类方式,了解当前主流得云计算与大数据供应商.
基本要求：掌握云计算与大数据得概念,掌握云计算与大数据得特点与优势 重点与难点：云计算与大数据得特点与优势 教学方法:讲授、学生收集资料。 主要教学内容： 1.云计算与大数据得概念。 2.云计算与大数据技术发展现状。 3.云计算与大数据得特点与优势。 4.云计算得分类. 5.主流云计算与大数据供应商。 6.云计算与大数据得联系 第2章云计算技术 教学目得：通过本章学习,掌握虚拟化技术得原理与实现方式,包括服务器虚拟化、网络虚拟化、存储虚拟化、应用虚拟化与桌面虚拟化,了解分布式计算得原理与应用。掌握IaaS、PaaS、SaａS三种云计算服务方式得特点与应用范围。 基本要求：掌握虚拟化技术得原理与实现方式，掌握三种云计算服务方式。 重点与难点：虚拟化技术、分布式计算技术 教学方法：讲授、学生收集资料。 主要教学内容： 1、虚拟化技术原理与实现方式。 2、分布式计算得原理。 3、IａaS、ＰaaＳ、SaaS三种云计算服务方式得特点与应用范围。 ?第3章云计算平台 教学目得:通过本章学习，了解当前主流得云计算平台服务商，掌握Google、亚马逊、微软、阿里巴巴、百度与腾讯所提供得云计算服务得原理与内容。 基本要求:了解当前主流得云计算平台服务商及其所提供得云计算服务。 重点与难点:Ｇooｇle云计算体系,亚马逊云计算架构 教学方法:讲授、学生收集资料、实验。 主要教学内容： 1、主流云计算平台服务商. 2、Google云计算体系，GFS文件系统、Google App Engiｎe。 3、亚马逊平台存储结构、弹性云EC2、AＷS等. 4、微软得Ｍiｃｒosoft Azｕｒｅ。 5、阿里云服务平台。 6、百度开发者云服务。 7、腾讯云服务平台。
集团大数据平台整体方案项目概述 1.1建设背景 1.1.1集团已有基础 经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。 集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。 组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。 集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。 1.1.2痛点及需提升的能力 集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。 板块间数据存在壁垒，共享不足，无法实现集团企业数
据的充分有效利用。 数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。 非/半结构化数据利用不足，需利用大数据技术加强应用。 1.1.3大数据趋势 随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。 越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。 数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。
大数据开发基础 一、课程性质、目的和任务 1. 本课程为计算机专业大学本科生及研究生选修的一门课程； 2. 目的是让学生了解并掌握四个领域（即大数据系统的起源及系统特征、大数据系统的架构设计 及功能目标设计、大数据系统程序开发、企业大数据案例分析）的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力； 3. 本课程重点让学生掌握五个方面的内容： （1）HDFS使用操作； （2）MapReduce开发； （3）HBase数据库的开发； （4）Hive数据仓库开发； （5）大数据案例分析； 二、教学内容及要求 第一章大数据概述 授课学时：1 基本要求： 1.了解大数据概念、特征、数据计量单位以及大数据的类型； 2.了解大数据系统的设计背景、以及当前大数据系统存在的不足； 3.了解大数据系统的设计思想、设计目标和设计原则； 4.了解大数据系统的整体逻辑架构设计及运行逻辑，了解当前大数据系统的主流架构； 第二章大数据应用开发思路和开发环境配置 授课学时：1 基本要求： 1.掌握大数据系统应用读写操作的开发流程； 2.掌握分析大数据开发技术及思路； 3.掌握大数据Java开发的环境配置、Plugin插件的安装，Hadoop环境配置；
第三章HDFS分布式文件系统 授课学时：4 基本要求： 1.了解HDFS设计目标、基本概念； 2.掌握HDFS文件系统的命令操作； 3.掌握Java对HDFS的程序开发操作，包含目录管理、文件列表、读取、导入导出、文件压缩等开发； 4. 真机实操训练（实验环节 1）； 第四章MapReduce分布式编程 授课学时：6 基本要求： 1.了解MapReduce的设计思想、基本概念； 2.了解MapReduce的系统架构、作业运行机制和关键技术； 3.掌握MapReduce的数据类型的自定义以及数据类型的使用； 4.掌握MapReduce开发，定制输入输出的数据格式； 5.掌握将HDFS文件系统中整个文件作为输入数据的开发； 6.掌握利用MapReduce完成小文件聚合成一个大文件的开发； 7.掌握压缩数据处理程序开发； 8.掌握任务组合过程，掌握迭代组合、并行组合及串行组合； 9.掌握任务的前后链式组合； 10.掌握多数据源连接的开发，包含Map端开发以及Reduce端开发； 11.掌握Hadoop全局参数的使用，全局文件的使用； 12.掌握与关系型数据库的访问连接； 13.真机实操训练（实验环节2）； 第五章HBase分布式数据库 授课学时：4 基本要求： 1.了解HBase分布式数据库的设计目标、基本概念； 2.了解HBase逻辑架构以及物理架构； 3.掌握HBase分布式数据库Shell命令操作； 4.掌握HBase数据库系统的Java开发，包含创建表、删除表，查询所有表操作； 5.掌握HBase数据库系统的Java开发，包含插入记录、查询数据，组合查询、修改删除记录等开发； 6.真机实操训练（实验环节3）；