大数据、云计算、数据中心发展趋势简介
- 格式:doc
- 大小:71.50 KB
- 文档页数:13
- 1 -
大数据、云计算、数据中心发展趋势简介
随着社会的进步和信息技术的融合发展,人类已
经进入了数据爆炸的时代,对数据价值的认知和利用
也正发生着根本性的改变。人们将不再满足于获取数
据预先定义的价值,借助先进的工具和手段,汇集多
来源、多类型的数据,开展深入分析和综合研究后,
期望获取更多新的价值发现。“大数据”现象的出现正
是人们应用新兴技术对数据价值再认知和再发掘的不
断尝试。
云计算的核心是业务模式,本质是数据处理技术。
数据是资产,云计算为数据资产提供了保管、访问的
场所和渠道。如何盘活数据资产,使其为企业决策服
务,是大数据的核心议题,也是云计算必然的升级方
向。但目前云计算在安全和标准方面还不成熟,与企
业实际应用有一定的差距。云计算数据中心作为目前
大多数企业应用云计算技术的主要途径,在今后的企
业信息化建设中将发挥主要功效,效益明显,其建设
标准、规范以及对传统灾备模式的影响值得持续关注
和深入研究。
一、大数据
- 2 -
1、大数据定义及其特征
大数据的概念最早于20世纪90年代提出,根据
维基百科定义,是指无法在可承受的时间范围内用常
规软件工具进行捕捉、管理、处理的数据集合。从产
业的角度,常常把这些数据与采集它们的工具、平台、
分析系统等一起被称为大数据。在2012年瑞士达沃
斯世界经济论坛上,大数据是框定的主题之一,该论
坛发表的报告《大数据,大影响》中提出,数据已经
成为一种新型的经济资产,就像货币或者黄金一样。
需要特别指出的是,大数据和海量数据是有区别的:
大数据包含了海量数据的含义,而且在内容上超越了
海量数据,简言之,大数据等于“海量数据+复杂类
型的数据”。
总结起来,大数据的特征主要体现为大量化、多
样性、快速化、价值化和复杂性(简称“4V+1C”):
(1)数据体量大(Volume)。从GB、TB级跃升到
PB(1PB=1024TB)乃至EB(1EB=1024PB)级别。
到目前为止,人类生产的所有印刷材料的数据量是
200PB,而历史上全人类说过的所有的话的数据量大
约是5EB;(2)数据类型繁多(Variety)。被分为结
构化数据、半结构化数据和非结构化数据。相对于以
往便于存储的以文本为主的结构化数据,超过80%的
- 3 -
数据都是非结构化数据,如视频监控数据、流媒体数
据、RFID感应数据等;(3)价值密度低(Value)。
单条数据并无太多价值,但庞大的数据中蕴含着巨大
的价值。数据价值密度的高低与数据总量的大小成反
比。如何通过强大的机器算法更迅速地完成数据的价
值“提纯”,是目前大数据背景下亟待解决的难题;(4)
处理速度快(Velocity)。这是大数据区分于传统数据
挖掘最显著的特征。如物联网每秒都在采集数据,微
博内容随时都在更新,处理速度达到每小时10TB或
更高;(5)复杂程度高(Complexity)。综合以上四
个方面特征,对数据的处理和分析更加艰巨、更加复
杂。
2、大数据相关技术
Hadoop是Apache开源组织的一个分布式计算
框架,是Map Reduce的第一个开源实现,被认为是
应对大数据难题的利器。Hadoop可以在大量廉价的
硬件设备组成的集群上运行应用程序,为应用程序提
供一组稳定可靠的接口,旨在构建一个具有高可靠性
和良好扩展性的分布式系统。内存计算是一个软硬件
结合体,能够提供高性能的数据查询功能,将数据库
直接装入内存运算,减少了数据交换时间,大大提高
了数据的处理能力,使用户可以直接对大量实时业务
- 4 -
数据进行查询和分析。随着内存价格的下降,下一代
的内存计算时代即将来临。NoSQL是Not Only SQL
的缩写,不一定遵循传统数据库的一些基本要求,相
比传统数据库,叫它分布式数据管理系统更贴切,数
据存储更简化更灵活,重点被放在了分布式数据管理
上,用以满足对数据库高并发读写的需求;对海量数
据的高效率存储和访问的需求;对数据库的高可扩展
性和高可用性的需求。此外,微软、IBM、Oracle、
SAS等公司也都提出了大数据相关解决方案。
3、企业应具备的大数据能力
经过对大数据特点与应用现状,我们发现对大数
据的价值发现将依赖于以下三个基础能力:(1)全面
获取数据的能力。发掘数据价值的基础是对海量异构
数据的全面获取,包括从专业系统、生产系统、管理
系统中直接获取数据、从油田、炼厂、管道、加油站
的各类传感器采集数据、从互联网络、智能终端等实
时收集数据,完善的数据收集和优化的数据存储管理
体系,将能为数据价值发掘提供更为广阔的空间,在
提高价值发现概率的同时降低数据存储成本。(2)高
效处理数据的能力。发掘数据价值的保障是具备高效
的数据处理技术,通过借助先进的数据建模分析工具、
可扩展的并行计算能力和灵活的数据交互展示平台,
- 5 -
数据价值研究人员建立复杂的数学算法模型,并快速
完成所需的大量的计算任务,并以最便于观察和分析
的形式展示出来,将能够缩短数据研究周期,提升价
值发现的效率。(3)综合研究数据的能力。发掘数据
价值的核心在于提高数据分析和研究的水平,能够从
“大数据”中找到问题、发现规律、不断得到新的价
值发现。对其研究将不再是单个部门能够胜任的工作,
需要相关行业专家、业务人员与技术人员的共同参与,
尤其需要数据科学家、数据分析师等专业人才,通过
不断丰富业务分析与优化工具、行业模型、方法论,
持续拓展数据应用空间,发掘数据应用潜力,实现高
水平的数据整合应用。
为发挥出上述能力的最大效能,还应建立综合、
高效的“大数据”价值发掘的协作平台,实现跨地域、
跨部门、跨学科的内外部专家团队密切合作,形成科
学的价值发掘研究模式。
二、云计算与数据中心
1、基本概述
云计算是网格计算、分布式计算、并行计算、效
用计算、网络存储、虚拟化、负载均衡等传统计算机
和网络技术融合发展的产物,具有如下特征:弹性服