Hadoop企业级应用实战之Hadoop前世今生(一)

FS/namespace/meta ops
Clint
NameNode
Second NameNode
Namespace backup
Heartbeats,balancing,replication etc
DataNode
Data serving
DataNode
DataNode
DataNode
DataNode
Google 云计算
MapReduce BigTable Chubby
GFS
Hadoop可以做什么？
案例1：我想知道过去100年中每年的最高温 度分别是多少？
这是一个非常典型的代表，该问题里边包含了大量的信息数据。
针对于气象数据来说，全球会有非常多的数据采集点，每个采 集点在24小时中会以不同的频率进行采样，并且以每年持续365 天这样的过程，一直要收集 100年的数据信息。然后在这 100年 的所有数据中，抽取出每年最高的温度值，最终生成结果。该 过程会伴随着大量的数据分析工作，并且会有大量的半结构化 数据作为基础研究对象。如果使用高配大型主机（ Unix环境） 计算，完成时间是以几十分钟或小时为单位的数量级，而通过 Hadoop完成，在合理的节点和架构下，只需要“秒”级。
HIVE
ODBC Command Line JDBC Thrift Server Metastore Driver （Compiler,Optimizer,Executor ） Hive 包括
元数据存储（Metastore） 驱动（Driver）
查询编译器（Query Compiler）
1. HDFS（Hadoop分布式文件系统）
HDFS：源自于Google的GFS论文，发表于2003年10月， HDFS是GFS克隆版。是Hadoop体系中数据存储管理的 基础。它是一个高度容错的系统，能检测和应对硬件 故障，用于在低成本的通用硬件上运行。HDFS简化 了文件的一致性模型，通过流式数据访问，提供高吞 吐量应用程序数据访问功能，适合带有大型数据集的 应用程序。 Client：切分文件；访问HDFS；与NameNode交互， 获取文件位置信息；与DataNode交互，读取和写入数 据。 NameNode：Master节点，在hadoop1.X中只有一个， 管理HDFS的名称空间和数据块映射信息，配置副本 策略，处理客户端请求。 DataNode：Slave节点，存储实际的数据，汇报存储信 息给NameNode。 Secondary NameNode：辅助NameNode，分担其工作 量；定期合并fsimage和fsedits，推送给NameNode；紧 急情况下，可辅助恢复NameNode，但Secondary NameNode并非NameNode的热备。

2.1.2 Hadoop发展简史
到了2006年2月，Nutch中的NDFS和MapReduce开始独立出来，成为Lucene 项目的一个子项目，称为Hadoop，同时，Doug Cutting加盟雅虎；
2008年1月，Hadoop正式成为Apache顶级项目，Hadoop也逐渐开始被雅虎之外 的其他公司使用；
安装后Window和Ubuntu 14.04都可以用，默认windows优先启动 可以在电脑启动时，选择进入Ubuntu系统而不是 Windows系统
2.3.4 Hadoop的安装与使用（单机/伪分布式）
Hadoop基本安装配置主要包括以下几个步骤： • 创建Hadoop用户 • SSH登录权限设置 • 安装Java环境 • 单机安装配置 • 伪分布式安装配置
可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题：
$ sudo adduser hadoop sudo
SSH登录权限设置
SSH是什么？
SSH 为 Secure Shell 的缩写，是建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠、专为远 程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问 题。SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。 SSH是由客户端和服务端的 软件组成，服务端是一个守护进程(daemon)，它在后台运行并响应来自客户端的连接请求，客户端包含 ssh程序以及像scp（远程拷贝）、slogin（远程登陆）、sftp（安全文件传输）等其他的应用程序
2.1.3 Hadoop的特性
Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、 高效、可伸缩的方式进行处理的，它具有以下几个方面的特性：

的飞跃，最终导致了大数据的产生，今天我们正处于这个阶段。
大数据的概念
大数据特点
Volume（规模性）：数据的价值和隐藏价值由数据的大小决定 Velocity（高速性）：指获得数据的速度 Variety（多样性）：数据的多样性 IDC认为大数据具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点，而 IBM则认为大数据必然具有真实性(Veracity)。
Hadoop生态体系
Hadoop项目及其介绍
Hadoop生态体系结构
Hadoop生态体系
Hadoop企业级应用
基于Hadoop的企业级应用
谢谢聆听
大数据的概念
大数据的产生
数据的产生方式经历了以下三个阶段： （1） 运营式系统阶段：数据库的出现大大降低了数据管理的复杂程度，实际中
数据库主要作为运营系统存储数据或作为运营系统的数据管理子系统。 （2） 用户原创内容阶段：由于互联网的诞生，人类社会数据存储量出现第二次
大的飞跃。 （3） 感知式系统阶段：感知式系统的广泛应用导致了数据技术
数据采集：使用数据采集工具将分布的、异构数据源中的数据如关系数据、平面数 据文件等抽取到临时中间层后进行清洗、转换、集成，而后加载到数据仓库或数据集 之中，成为联机分析处理、数据挖掘的基础。 数据存取：关系型数据库、非关系型数据库等。 存储架构：云存储、分布式文件系统（HDFS）等。 数据处理：把采集到的数据针对关键指标进行数据的处理和清洗等。 统计分析：方差分析、回归分析、简单回归分析技术等等。 数据挖掘：分类、估计、模型预测、结果呈现等方式。
Hadoop生态体系
Hadoop核心体系
HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现 了分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce 任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分 发、跟踪、执行等工作，收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

第1章初识Hadoop大数据技术本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的解决方案、Hadoop大数据技术以及Hadoop的应用案例。

本章的主要内容如下。

（1）大数据技术概述。

（2）Google的三篇论文及其思想。

（3）Hadoop概述。

（4）Hadoop生态圈。

（5）Hadoop的典型应用场景和应用架构。

1.1 大数据技术概述1.1.1 大数据产生的背景1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。

19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。

Hadoop 大数据技术与应用图1-1 数据管理技术在2001年前的两个发展阶段 2001年后，互联网迅速发展，数据量成倍递增。

据统计，目前，超过150亿个设备连接到互联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube 网站，Facebook 网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB 。

2016年全球产生数据量16.1ZB ，预计2020年将增长到35ZB （1ZB = 1百万，PB = 10亿TB ），如图1-2所示。

图1-2 IDC 数据量增长预测报告2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC 公司一直倡导的云计算概念外，还抛出了“大数据”（BigData ）的概念。

2011年6月底，IBM 、麦肯锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。

19世纪60年代，IT 系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导1946年，计算机诞生，数据与应用紧密捆绑在文件中，彼此不分1946 1951 1956 1961 1970 1974 1979 1991 2001 … 网络型E-RSQL 关系型数据库 数据仓库 第一台 计算机 ENIAC 面世 磁带+ 卡片 人工 管理 磁盘被发明，进入文件管理时代 GE 公司发明第一个网络模型数据库，但仅限于GE 自己的主机 IBM E. F.Dodd 提出关系模型 SQL 语言被发明 ORACLE 发布第一个商用SQL 关系数据库，后续快速发展数据仓库开始涌现，关系数据库开始全面普及且与平台无关，数据管理技术进入成熟期 0.8ZB ：将一堆DVD 堆起来够地球到月亮一个来回 35ZB ：将一堆DVD 堆起来是地球到火星距离的一半IDC 报告“Data Universe Study ”预测：全世界数据量将从2009年的0.8ZB 增长到2020年的35ZB ，增长44倍！年均增长率>40%！1.1.2 大数据的定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。