当前位置：文档之家 › Hadoop大数据框架概述-主汇报PPT

Hadoop大数据框架概述-主汇报PPT

  • 格式：pptx
  • 大小：7.60 MB
  • 文档页数：64

下载文档原格式

  / 64

合集下载

22hadoop讲解PPT课件

22hadoop讲解PPT课件
HADOOP 讲解
Mapreduce hadoop hive三者关系
Hadoop 是2005 Google MapReduce的一个Java 实现。
MapReduce是一种简化的分布式编程模式，让程序自动分布 到一个由普通机器组成的超大集群上并发执行。就如 同java程 序员可以不考虑内存泄露一样， MapReduce的run-time系统会 解决输入数据的分布细节，跨越机器集群的程序执行调度，处 理机器的失效，并且管理机器之间的通讯请求。这样的 模式
MapReduce 引擎，该引擎由JobTrackers 和TaskTrackers组成。
虽然Hadoop自身由Java语言开发，但它除了使用Java语言进行编程外，同样支持
多种编程语言，如C++
一、概论
作为Hadoop程序员，他要做的事情就是： 1、定义Mapper，处理输入的Key-Value对，输出中间结果。 2、定义Reducer，可选，对中间结果进行规约，输出最终结果。 3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内 容转换为Java类供Mapper函数使用，不定义时默认为String。 4、定义main函数，在里面定义一个Job并运行它。
“移动计算比移动数据更划算”
一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时 候更是如此。因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。将计 算移动到数据附近，比之将数据移动到应用所在显然更好。HDFS为应用提供了 将它们自己移动到数据附近的接口。
异构软硬件平台间的可移植性
流式数据访问
运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数 据集。HDFS的设计中更多的考虑到了数据批处理，而不是用户交 互处理。比之数据访问的低延迟问题，更关键的在于数据访问的高 吞吐量。 POSIX （表示可移植操作系统接口）标准设置的很多硬性约束对 HDFS应用系统不是必需的。为了提高数据的吞吐量，在一些关键 方面对POSIX的语义做了一些修改。

Hadoop技术介绍ppt课件

Hadoop技术介绍ppt课件

ppt课件.
18
ppt课件.
19
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
4
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
5
MapReduce
➢ 化大为小 ➢ 化繁为简
开发方式 ✓ 实现map函数 ✓ 实现reduce函数
ppt课件.
6
统计词频
➢ 方法一 写一个小程序遍历整个文件，统计每一个遇到的词的出现次数。
张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务 进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的 MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分 析。
数据存储 Table
每个表对应HDFS上一个目录。 Partition
Hadoop技术介绍
ppt课件.
1
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
2
前言
ppt课件.
3
Hadoop是由Apache基金会研发的开源 的分布式计算框架和分布式文件系统。是对 Google的MapReduce和GFS的开源实现。
对指定列根据列值进行分区，每个区一个目录。 Bucket
对指定列进行Hash分区，每个区一个目录。 External Table
对应HDFS一个目录路径，删除表，数据不会删除
ppt课件.
15
Hbase (Hadoop DataBase) HBase是一个分布式的、面向列的开源数据库。Hbase依托于Hadoop的HDFS

Hadoop综述.ppt

Hadoop综述.ppt
layoutVersion是一个负整数，保存了HDFS的持续化在硬盘 上的数据结构的格式版本号。
心跳信号传递信息（并不存储在硬盘）：
一个文件包括哪些数据块，分布在哪些数据节点 上。系统启动的时候从Datanode收集而成的。
Datanode在Namenode的指挥下进行block的 创建、删除和复制。
2.2.2.2 HDFS Concepts-Namenodes and DatanodesNameNode- persistent state of the filesystem metadata
2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model
查看块信息hadoop fsck –files –blocks 部分运行结果
2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNode
making the unit of abstraction a block rather than a file simplifies the storage subsystem.
2.2 HDFS Concepts-Namenodes and Datanodes
Basic modelBiblioteka Namenode DataNode
通信接口
2.1 HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
1. 减少元数据的量 2. 有利于顺序读写（在磁盘上数据顺序存放） 3. 副本的默认数目是3
a file can be larger than any single disk in the network.

Hadoop技术介绍ppt课件

Hadoop技术介绍ppt课件

•Hadoop Distribute FileSystem（HDFS）
高扩展性 可以方便的扩展数据节点。 课件部分内容来源于网络，如有异 高效性 议侵权的话可以联系删除，可编辑 基于高速网络快速的在各节点之间传输数据。 版！
4
目录
Hadoop是什么 Hadoop是如何运作的
Hadoop能做什么
大数据时代三架马车
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
5
MapReduce
化大为小
化繁为简
开发方式 实现map函数 实现reduce函数
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
6
统计词频
方法一 写一个小程序遍历整个文件，统计每一个遇到的词的出现次数。 方法二 写一个多线程并发遍历整个文件。
3
Hadoop是由Apache基金会研发的开源 的分布式计算框架和分布式文件系统。是对 Google的MapReduce和GFS的开源实现。
•分布式计算框架（MapReduce）
Map(映射)
对数据做键值映射，可理解为Group By。
Reduce(化简) 对Map阶段的输出结果进行汇总。
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
12
目录
Hadoop是什么 Hadoop是如何运作的
Hadoop能做什么
大数据时代三架马车
课件部分内容来源于网络，如有异 议侵权的话可以联系删除，可编辑 版！
13
Hive/Pig 数据仓库工具 HBase 列式数据库 Hadoop 数据底层 ETL Pig BI Report RDBMS Hive

“大数据分析实用课件-以Hadoop为例”

“大数据分析实用课件-以Hadoop为例”
大数据分析实用课件—— 以Hadoop为例
这份课件将会深入介绍大数据与Hadoop的相关知识，帮助您深入了解大数据 的概念和应用场景。
大数据概述
1 什么是大数据？
2 为什么需要处理大数据？
大数据指的是规模超过传统 数据库处理能力的数据集合。
处理大数据有助于获取有用 的信息，发现潜在的商业机 会和提高决策能力。
总结和展望
总结
Hadoop作为各种领域。
展望
随着人工智能、物联网等技术的发展，大数据 分析将会对各个行业产生更大的影响。
基因组测序
Hadoop可用于对生物信息的存 储和分析，如基因组测序。
Hadoop实践案例
1
Yahoo金融
使用Hadoop处理多种金融数据，包括市场数据、股票分析等。
2
阿里巴巴搜索引擎
Hadoop被用于管理1亿亿级别的Web页面，处理亿级别的搜索请求。
3
Facebook
使用Hadoop分析用户数据，优化新闻推荐和广告投放。
HBase
分布式NoSQL数据库，用于存储大规模结构 化数据。
MapReduce
分布式计算模型，用于处理大规模数据集。
ZooKeeper
分布式应用程序的协调服务。
Hadoop的应用场景
数据中心
Hadoop可用于大型数据中心， 实现海量数据的存储、管理和 分析。
日志分析
Hadoop可应用于对大量日志进 行分析和处理。
3 怎么处理大数据？
采用Hadoop和其他工具来管理和分析大数据。
Hadoop介绍
什么是Hadoop？
Hadoop是一个开源的分布式计 算框架，用于存储和处理大数 据。
Hadoop的特点

《Hadoop综述》课件

《Hadoop综述》课件
3 Hadoop未来发展的趋势
Hadoop将向着更加智能化、更加广泛的应用场景和应用领域进行拓展。
Hadoop在大数据领域的应用
云计算
Hadoop在云计算领域的应用 主要包括了基础设施即服务 （IaaS）、平台即服务 （PaaS）、软件即服务 （SaaS）等。
商业智能和数据分 析
Hadoop在商业智能和数据分 析领域的应用主要包括了数 据挖掘、数据仓库、OLAP、 ETL等。
社交网络
Hadoop可以用于存储和处理 海量的社交网络数据，包括 了关系图分析、用户画像分 析、情感分析等。
2 广泛的应用场景和应用领域
Hadoop的应用场景将逐渐扩展到更多的行业和领域，如医疗、金融、能源等。
总结
1 Hadoop的优点和缺点
Hadoop是一种具有高效处理大规模数据能力的分布式计算框架，但处理小规模数据的效 率较低。
2 Hadoop在大数据领域的重要性
Hadoop已成为当前大数据处理的主流技术之一，得到了广泛的发展和应用。
HDFS和MapReduce
1
HDFS
Hadoop分布式文件系统(HDFS)是一个可扩展的、容错的和高可用性的分布式文 件系统，支持数据的随机访问和流式访问。
2
MapReduce
Hadoop MapReduce是一个用于分布式处理大规模数据的编程框架，将任务分 解成小的任务并在各个节点上并行执行。
2 发展
自2005年以来，Hadoop得到了广泛的发展和应用，并逐渐成为了当前大数据处理的主流 技术之一。
Hadoop的核心组件和生态系统
核心组件
Hadoop的核心组件包括了HDFS、MapReduce 等，它们协同工作来进行大规模数据的存储和处 理。

Hadoop技术之大数据概念介绍课件

Hadoop技术之大数据概念介绍课件
案例3：某医疗公司通过大数据分析， 预测疾病爆发，提前采取措施
案例4：某交通公司通过大数据分析， 优化交通路线，减少拥堵情况
谢谢
马逊等
02
选取涉及不同行业的案例，如金融、
医疗、零售等
03
选取具有一定难度的案例，以展示
Hadoop技术的优势
04
选取具有实际应用价值的案例，以帮助
听众更好地理解Hadoop技术的应用
案例分析方法
确定分析目标： 明确分析的目 的和需求
选择案例：选 择具有代表性 的案例进行分 析
数据收集： 收集与案例 相关的数据
数据仓库： 用于存储经 过处理的数 据
数据湖：用 于存储原始 数据和处理 后的数据
云存储：用 于存储和管 理大数据， 具有高可用 性和可扩展 性
01
02
03
04
数据分析
01
数据采集：从各种来源收集数据，
包括网络、传感器、数据库等
02
数据清洗：对数据进行清洗、去
重、异常值处理等操作，保证数
据的准确性和完整性
03
数据存储：将清洗后的数据存储
到合适的存储系统中，如
Hadoop分布式文件系统
（HDFS）
04
数据分析：利用各种数据分析工
具和技术对数据进行分析，如
05
数据可视化：将分析结果以图表、
MapReduce、Spark等
图形等形式进行可视化展示，便
于理解和决策
大数据案例分析
案例选取
01
选取具有代表性的案例，如谷歌、亚
数据产生速度快： 数据产生速度极快， 需要实时处理
数据隐私和安全问 题：数据隐私和安 全问题突出，需要 加强保护措施

Hadoop综述PPT课件

Hadoop综述PPT课件

4
.
4
第三篇 Hbase简单介绍
一 ：简介 二：数据模型 三：行、列、时间戳、API
5
.
5
第一篇HDFS 分布式文件系统
.
6
1 The Design of HDFS
Very large files
大数据集合为目标数
以千万计的文件
典型文件大小一般都在千兆至T字节
Streaming data access
通信接口
.
9
2.1 HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
1. 减少元数据的量 2. 有利于顺序读写（在磁盘上数据顺序存放） 3. 副本的默认数目是3
a file can be larger than any single disk in the network.
.
12
2.2.1 HDFS Concepts-Namenodes and Datanodes- Basic model
查看块信息hadoop fsck –files –blocks 部分运行结果
.
13
2.2.2 HDFS Concepts-Namenodes and Datanodes- NameNode
.
23
3 Hadoop应用程序示例
//在hdfs://master:9000/user/coole目录下创建文件并写入内容 public class DFSOperator {
public static void main(String[] args) { Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path t = new Path("hdfs://master:9000/user/coole/dfs_operator.txt"); FSDataOutputStream os = fs.create(t,true); int i = 0; for (i = 0 ;i<5; i++) os.writeChars("test"); os.close(); } catch (IOException e) { e.printStackTrace(); } }

《Hadoop综述》课件

《Hadoop综述》课件

MapReduce
MapReduce是Hadoop的一个编程 模型，用于处理和生成大数据集。它 将大数据处理任务分解为多个小任务 ，并在集群中并行执行这些小任务。
VS
Map阶段处理输入数据并产生一系 列的键值对，Reduce阶段则接收这 些键值对并汇总结果。MapReduce 使得在不了解分布式系统底层细节的 情况下，也能在集群上编写高效的并 行处理程序。
Apache Hadoop项目正式启动，基 于Google的MapReduce理论，实现 了分布式计算框架。
Hadoop功能
01
大数据处理
分布式存储
02
03
计算并行化
Hadoop能够处理大规模数据， 支持PB级别的数据存储和处理。
Hadoop采用分布式存储方式， 将数据存储在多个节点上，提高 了数据存储的可靠性和扩展性。
04 Hadoop优缺点
CHAPTER
优点
可扩展性
Hadoop是一个分布式系统，可以轻松地通过增 加节点来扩展存储和计算能力。这使得Hadoop 能够处理大规模数据集，满足不断增长的数据需 求。
灵活性
Hadoop可以处理各种类型的数据，无论是结构 化数据还是非结构化数据。这使得Hadoop成为 数据分析的理想选择，可以应用于各种行业和场 景。
运行Hadoop集群需要大量的 内存和存储资源。在部署和配 置Hadoop时，需要考虑这些 资源需求并合理规划。
对于已经使用传统关系型数据 库的企业来说，将数据迁移到 Hadoop可能会面临一些挑战 和成本。需要考虑数据的迁移 路径和策略。
05 Hadoop未来发展
CHAPTER
大数据发展趋势
数据量持续增长
Hadoop综述

Hadoop体系架构概述备份PPT课件

Hadoop体系架构概述备份PPT课件
块到DataNode映射的决策 ➢ DataNode负责响应来自客户端的文件读写要求，也要负责执行来自NameNode的关于数据块创建、删除
和冗余存储的指令
NameNode同DataNode都是可以架设在普通商品机上，一个典型的HDFS集群中部署一个专用机做为NameNode，其余的机器部署为DataNode。
.
6
HDFS概述-----基本特征
➢ 基于商用硬件环境 ➢ HDFS具有高容错性，并且被部署在廉价的硬件之上 ➢ HDFS向应用程序提供高的数据吞吐访问，适合于需要
处理大规模海量数据集的应用 ➢ HDFS遵循部分POSIX协议要求，可以确保应用程序以
流的方式访问文件系统数据
.
7
HDFS的对现实应用环境的假设及其目标
Hadoop体系架构概述
.
1
Hadoop体系架构
HDFS简介
Map/Reduce模型 分布式列式数据 库Hbase.来自2Hadoop概述
➢ 基于Apache基金会下的一个开源项目，致力于开发一个可靠的、大规 模的分布式计算框架
➢ 用户可采用简单的计算模型在计算机集群下对大规模的数据进行分布 式处理
• 3. 海量数据集。运行在HDFS上的应用是建立在海量数据集之上的。HDFS被设计来存储大文件，通常HDFS中的文件大小应该是 千兆字节到兆兆字节。HDFS必须具备有很高的总数据带宽，其单一集群规模能够容乃成千上万的机器节点，并且一个HDFS集群 能够支撑数以万计的文件量。
• 4. 追加写入及文件同步。大多数的HDFS应用都需要“一次写多次读”的文件访问模式。HDFS具有两种高级特征：刷新缓存 （hflush）和文件添加（append）。刷新缓存使得一个未关闭文件的最后一个块对访问者可见的同时提供了读一致性和数据持 久性。文件添加提供了在一个已关闭文件的末尾添加额外数据的机制。

商业大数据分析许鑫大数据[2]大数据处理架构Hadoop精品PPT课件

商业大数据分析许鑫大数据[2]大数据处理架构Hadoop精品PPT课件
选择 Hadoop版本的考虑因素： •是否开源（即是否免费） •是否有稳定版 •是否经实践检验 •是否有强大的社区支持
大数据
Big Data
大数据处理架构Hadoop
《大数据技术原理与《应大用数据》》
E-mail:
厦华门东师大范学大计学算信机息管科理学系系
林许子鑫雨
提纲
• 2.1 概述 • 2.2 Hadoop项目结构 • 2.3 Hadoop的安装与使用 • 2.4 Hadoop集群的部署与使用
《大数据技术原理与《应大用数据》》
《大数据技术原理与《应大用数据》》
厦华门东师大范学大计学算信机息管科理学系系
林许子鑫雨
2.1.3 Hadoop的应用现状
Hadoop在企业中的应用架构
《大数据技术原理与《应大用数据》》
厦华门东师大范学大计学算信机息管科理学系系
林许子鑫雨
2.1.4 Apache Hadoop版本演变
•Apache Hadoop版本分为两代，我们将第一代Hadoop称为Hadoop 1.0，第二 代Hadoop称为Hadoop 2.0 •第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中， 0.20.x最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则增加了NameNode HA等新的重大特性 •第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0，是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于 0.23.x，2.x增加了NameNode HA和Wire-compatibility两个重大特性
• Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用 户提供了系统底层细节透明的分布式基础架构 •Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以 部署在廉价的计算机集群中 •Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed ）和 MapReduce •Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了 海量数据的处理能力 •几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化 工具和技术服务，如谷歌、雅虎、微软、思科、淘宝等，都支持 Hadoop
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

MapReduce
A YARN-Based System for Parallel Processing of Large data sets.
MapReduce – 离线计算框架
核心思想 – 分而治之
Map和Reduce Map阶段并行处理输入数据 Reduce阶段对Map结果进行汇总
Shuffle连接Map 和 Reduce阶段 >>Map shuffle >>Reduce Shuffle
MapReduce原理和过程
Shuffle和MapReduce过程
Yarn
A framework for job scheduling and cluster resource management
Yarn-虚拟操作系统/资源调度/任务管理
集群资源的管理
1. 主节点-ResourceManager 2. 从节点-NodeManager
• 实时数据处理框架服务基于业务需求的数据处理分析模型开发、分 析处理应用开发、与MySQL、Hbase等数据库进行集成；
• 基于关系型数据库的业务应用开发。
在项目评估中的应用-工程师种类需求
• 数据采集-系统工程师、架构师 • 数据加工-系统工程师、开发工程师 • 数据分发-系统工程师、软件开发工程师 • 离线数据预处理-系统工程师、软件开发工程师； • 离线数据业务应用-Scala工程师、数据库工程师、Java工
程师 • 实时数据分发给kafka消息队列系统-系统工程师 • Kafka消息队列系统与实时数据处理框架服务进行集成-系
统工程师、Scala开发工程师、Java工程师 • 实时数据处理框架服务与MySQL、Hbase等数据库进行
集成-系统工程师、数据库工程师、Scala工程师、Java工 程师； • 基于关系型数据库的业务应用开发-Java工程师。
在项目评估中的应用-工作量评估
• 数据采集-根据不同的数据源，选择合适的采集手段，合理规划部 署采集工具，并与加工处理模型进行集成
• 数据加工-根据不同源数据，加工、转换然，使之符合处理需求， 并与数据采集工具、数据分发工具进行集成
• 数据分发-根据业务需求，开发分发模型，并与离线数据处理工具、 实时处理工具进行分发集成
Thanks！
李天生 litiansheng@
在项目评估中的应用
卡夫卡大数据平台项目实战课程学习在项目评估中的应用
在项目评估中的应用-架构评估
架构评估
应包含数据源层、采集层、 存储层、计算层、服务层、接口 层、展示层
至少应包含数据源层、存 储层、计算层、服务层、接口层
在项目评估中的应用-数据量评估
• HDFS-最低三副本，通常是三到七副本 • 数据采集->合并，需要存储到磁盘 • 离线数据处理->Hbase需要存储到磁盘 • 离线数据处理->Spark SQL需要将数据放入内存 • 在线数据处理->Kfka消息队列需要将数据放入磁
任务调度-三大进程
• ResourceManager 1. 处理客户端请求 2. 启动、监控AppMaster 3. 监控NodeManager 4. 资源分配与调度
• NodeManager 1. 节点管理 2. 处理来自ResManager的命令 3. 处理来自AppMaster的命令
• ApplicationMaster 1. 申请资源 2. 监控、管理NodeManager上任务
A distributed file system that provides high-throughput access to application data.
HDFS – 分布式文件系统
解决的问题
海量数据存储 -> 分布式架构设计 分布式特点：集群，多台机器共同协作完成存储 主从架构设计
核心架构
Hadoop – 应用场景
• 日志分析 – 实时分析、离线分析MapReduce • 推荐系统 – 网店个性推荐 • GPS – 实时采集数据，分析后推送到客户端 • 海量数据的搜集、存储、处理、分析、展示…
Hadoop生态圈
第二部分 案例及组件概述
HDFS
Hadoop File System
• 离线数据预处理-根据数据类型和数据仓库（数据库）的类型，选 择进行数据预处理，并与数仓（数据库）进行集成；
• 离线数据业务应用-基于业务的分析、处理模型开发，基于业务的 数据结构开发，离线业务应用系统开发
• 实时数据分发给kafka消息队列系统，并与之进行集成；
• Kafka消息队列系统与实时数据处理框架服务进行集成；
Spark Streaming
Structured Streaming
The key idea in Structured Streaming is to treat a live dada stream as a table that is being continuously appended.
Flume原理-日志采集组件
采集存储模型
Flume-采集分发模型
大数据项目举例
Hive
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in
HBase特点
• 容量大-单表支持百亿行、百万列存储，行、列都可扩展 • 面向列-数据表基于列存储和权限控制，支持独立检索 • 数据多版本-每一个列的数据存储有多个Version • 稀疏性-为空的列不占存储空间，表可以设计得非常稀疏 • 扩展性-依赖于HDFS，空间动态扩展 • 高可靠性-WAL机制、Replication机制、HDFS多副本机制 • 高性能-高写入（LSM、RowKey）、高读取（Region切分）
盘+内存（主要是磁盘） • 在线数据处理->Spark 需要将数据放入内存 • 在线数据处理->Spark Streaming/Stuctured
Streaming 需要将数据存入磁盘 • 在线数据处理MySQL、Hbase需要将数据放入磁
盘 • 综上，最多磁盘存储需要3+1+1+1+1=7副本，
即一般情况下存储资源需求为3到7副本；内存根 据业务实际需求决定，最多需要1+1+1=3副本容 量
coordination.
Zookeeper原理
• 主从结构
一个leader、多个follower组成的集群，Server部署要求为2N+1，N为 可损坏的数量；
• 选举制
通过内部选举，选出Leader，无需手动配置谁为主节点，谁为从节点；
HBase
Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.
distributed storage using SQL
Hive概述
用于解决海量结构化数据的统计 Hive是基于Hadoop的一个数据仓库工具
提供类SQL语句查询（HQL）； 使用HDFS存储； 使用MapReduce计算； 通过HQL语句，实现底层MapReduce过程 本质是将HQL转化成Mapper、Reducer程序 灵活性和扩展性好：支持UDF，自定义存储格式等 适合离线数据处理
1. NameNode – 主节点 – 领导
文件元数据：文件名称，文件位置，副本数，所有者、组、权限，存储块，块在节点上的位置…
2. DataNode –从节点 – 随从
HDFS-文件存储架构和原理
• 读数据
Client -> NameNode Client -> DataNode
• 写数据
Client -> NameNode Client -> DataNode
Kafka原理
Kafka任务模型
Flume
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data.
Hive与Hadoop生态系统
Hive原理
Hive优点与适用场景
Hue
Hue is an open source SQL Workbench for Data Warehouses.
Hue概述
• Cloudera公司的开源产品 • 与Hadoop组件集成
几乎是所有Hadoop组件都支持，与HDFS集成、与Yarn集成、与Hive集成、与 MYSQL集成、与HBase集成，基本就是可视化的Hadoop，带UI的Hadoop系统
运行情况
• Container-对资源的抽象和封装
Yarn任务调度过程
Zookeeper
Zookeeper is an effort to develop and maintain an openresource server which enables highly reliable distributed
解决问题/核心内容
• 海量数据存储 – HDFS
存海量数据 动态添加资源 备份（默认3备份，可自定义更多） 快速恢复
• 海量数据分析 – MapReduce
核心理念：分而治之
• 集群资源的管理和任务调度 – YARN
资源管理 任务调度
• 基础工具包 – Hadoop Commen
HBase架构体系与设计模型
HBase架构体系与设计模型
HBASE分布式集群架构