大数据技术被设计用于在 成本可承受的条件下,通 过非常快速(velocity) 地采集、发现和分析,从 大量(volumes)、多 类别(variety)的数据 中提取价值(value), 将是IT 领域新一代的技 术与架构。
技术领域的挑战
技术架构的挑战:
1、对现有数据库管理技术的挑战
传统的数据库部署不能处理数TB 级别的数据,也 不能很好的支持高级别的数据分析。急速膨胀的数 据体量即将超越传统数据库的管理能力。 如何构建全球级的分布式数据库(Globally-Distri buted Database) ,可以扩展到数百万的机器, 数已百计的数据中心,上万亿的行数据。
Variety 多样性
•企业内部的经营交易信息;物联网世界中商品,物流信息;互联 网世界中人与人交互信息,位置信息等是大数据的主要来源. •文本/图片/视频 等非结构化/半结构化数据 •能够在不同的数据类型中,进行交叉分析的技术,是大数据的 核心技术之一.语义分析技术,图文转换技术,模式识别技术,地 理信息技术等,都会在大数据分析时获得应用.
分布式文件系统
GFS将整个系统分为三类角色:Client(客户端)、Master (主服务器)、Chunk Server(数据块服务器)。
分布式文件系统
Hadoop是一个分布式系统基础架构,由Apache基金 会开发。用户可以在不了解分布式底层细节的情况下, 开发分布式程序,充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distri buted File System),简称HDFS。HDFS有着高容错 性的特点,并且设计用来部署在低廉的硬件上。
这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处 理的范畴