【PPT培训课件】hadoop生态圈
- 格式：ppt
- 大小：3.45 MB
- 文档页数：49
下载文档原格式
合集下载
大数据培训讲义PPT(共 75张)
+ 软件改变世界!
大数据生态:软件是引擎
大数据技术要解决的问题
企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意 味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各 个细节相融合。
大数据技术被设计用于在 成本可承受的条件下，通 过非常快速（velocity） 地采集、发现和分析，从 大量（volumes）、多 类别（variety）的数据 中提取价值（value）， 将是IT 领域新一代的技 术与架构。
大数据
主讲人：刘永磊
大数据的定义理解
1
大数据时代的背景
什么是大数据 2
大数据的“4V”特征
3
大数据的构成
大数据时代的背景
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到 了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其 增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物 联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银 行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。
• 统计和分析：A/B test; top N排行榜；地域占比； 海量数据的查询、统计、更新等操作效率低
文本情感分析
• 非结构化数据
• 数据挖掘：关联规则分析；分类；聚类
图片、视频、word、pdf、ppt等文件存储
• 模型预测：预测模型；机器学习；建模仿真
不利于检索、查询和存储
• 半结构化数据
• 非关系数据库
（NoSQL）
• 数据仓库
• 云计算和云存储
• 实时流处理
分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理 的物理存储资源不一定直接连接在本地节点上，而是通过计算机 网络与节点相连。
大数据生态:软件是引擎
大数据技术要解决的问题
企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意 味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各 个细节相融合。
大数据技术被设计用于在 成本可承受的条件下，通 过非常快速（velocity） 地采集、发现和分析，从 大量（volumes）、多 类别（variety）的数据 中提取价值（value）， 将是IT 领域新一代的技 术与架构。
大数据
主讲人：刘永磊
大数据的定义理解
1
大数据时代的背景
什么是大数据 2
大数据的“4V”特征
3
大数据的构成
大数据时代的背景
半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到 了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其 增长速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物 联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银 行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。
• 统计和分析：A/B test; top N排行榜；地域占比； 海量数据的查询、统计、更新等操作效率低
文本情感分析
• 非结构化数据
• 数据挖掘：关联规则分析；分类；聚类
图片、视频、word、pdf、ppt等文件存储
• 模型预测：预测模型；机器学习；建模仿真
不利于检索、查询和存储
• 半结构化数据
• 非关系数据库
（NoSQL）
• 数据仓库
• 云计算和云存储
• 实时流处理
分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理 的物理存储资源不一定直接连接在本地节点上，而是通过计算机 网络与节点相连。
Hadoop技术介绍ppt课件
ppt课件.
18
ppt课件.
19
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
4
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
5
MapReduce
➢ 化大为小 ➢ 化繁为简
开发方式 ✓ 实现map函数 ✓ 实现reduce函数
ppt课件.
6
统计词频
➢ 方法一 写一个小程序遍历整个文件，统计每一个遇到的词的出现次数。
张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务 进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的 MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分 析。
数据存储 Table
每个表对应HDFS上一个目录。 Partition
Hadoop技术介绍
ppt课件.
1
目录
Hadoop是什么 Hadoop是如何运作的 Hadoop能做什么 大数据时代三架马车
ppt课件.
2
前言
ppt课件.
3
Hadoop是由Apache基金会研发的开源 的分布式计算框架和分布式文件系统。是对 Google的MapReduce和GFS的开源实现。
对指定列根据列值进行分区，每个区一个目录。 Bucket
对指定列进行Hash分区，每个区一个目录。 External Table
对应HDFS一个目录路径，删除表，数据不会删除
ppt课件.
15
Hbase (Hadoop DataBase) HBase是一个分布式的、面向列的开源数据库。Hbase依托于Hadoop的HDFS
大数据基础ppt04第四章大数据计算
4.4.2 Hive ApacheHive是最早出现的架构在Hadoop基础之上的大规模数据仓库， 由Facebook设计并开源。Hive的基本思想是，通过定义模式信息，把 HDFS中的文件组织成类似传统数据库的存储系统。
教学分析
Teaching Analysis
Hive与传统关系数据库对比如表4-2所示。
教学分析
Teaching Analysis
2.DAG模型的改进—RDD（可恢复分布式数据集）
MapReduce的另一个不足之处是使用磁盘存储中间结果，严重影响了系统的性 能，这在机器学习等需要迭代计算的场合更为明显。Spark对早期的DAG模型作了改 进，基于内存的运算要快100倍以上，基于磁盘的运算也要快10倍以上。
教学分析
Teaching Analysis
4.3 流计算
4.3.1 流计算概述
流计算框架一般采用DAG（有向无环图）模型。图中的节点分为两类：一类是数 据的输入节点，负责与外界交互而向系统提供数据；另一类是数据的计算节点，负责 完成某种处理功能如过滤、累加、合并等。如图4-6所示。
图4-6 流计算DAG模型示意图
图4-4 MapReduce与Spark中间结果保存方式对比
教学分析
Teaching Analysis
3.Spark对MapReduce的改进 下面总结Spark对MapReduce的改进。 (1)MapReduce抽象层次低，需要手工编写代码完成；Spark基于RDD抽象，使数据处理 逻辑的代码非常简短。 (2)MapReduce只提供了map和reduce两个操作，表达力欠缺；Spark提供了很多转换 和动作，很多关系数据库中常见的操作如JOIN、GROUP BY已经在RDD中实现。 (3)MapReduce中，只有map和reduce两个阶段，复杂的计算需要大量的组合，并且由 开发者自己定义组合方式；Spark中，RDD可以连续执行多个转换操作，如果这些操作对 应的RDD分区不变的话，还可以放在同一个任务中执行。 (4)MapReduce处理逻辑隐藏在代码中，不直观；Spark代码不包含操作细节，逻辑更清 晰。 (5)MapReduce中间结果放在HDFS中；Spark中间结果放在内存中，内存放不下时才写 入本地磁盘而不是HDFS，这显著提高了性能，特别是在迭代式数据处理的场合。 (6)MapReduce中，reduce任务需要等待所有map任务完成后才可以开始；在Spark中 ，分区相同的转换构成流水线放到同一个任务中运行。
教学分析
Teaching Analysis
Hive与传统关系数据库对比如表4-2所示。
教学分析
Teaching Analysis
2.DAG模型的改进—RDD（可恢复分布式数据集）
MapReduce的另一个不足之处是使用磁盘存储中间结果，严重影响了系统的性 能，这在机器学习等需要迭代计算的场合更为明显。Spark对早期的DAG模型作了改 进，基于内存的运算要快100倍以上，基于磁盘的运算也要快10倍以上。
教学分析
Teaching Analysis
4.3 流计算
4.3.1 流计算概述
流计算框架一般采用DAG（有向无环图）模型。图中的节点分为两类：一类是数 据的输入节点，负责与外界交互而向系统提供数据；另一类是数据的计算节点，负责 完成某种处理功能如过滤、累加、合并等。如图4-6所示。
图4-6 流计算DAG模型示意图
图4-4 MapReduce与Spark中间结果保存方式对比
教学分析
Teaching Analysis
3.Spark对MapReduce的改进 下面总结Spark对MapReduce的改进。 (1)MapReduce抽象层次低，需要手工编写代码完成；Spark基于RDD抽象，使数据处理 逻辑的代码非常简短。 (2)MapReduce只提供了map和reduce两个操作，表达力欠缺；Spark提供了很多转换 和动作，很多关系数据库中常见的操作如JOIN、GROUP BY已经在RDD中实现。 (3)MapReduce中，只有map和reduce两个阶段，复杂的计算需要大量的组合，并且由 开发者自己定义组合方式；Spark中，RDD可以连续执行多个转换操作，如果这些操作对 应的RDD分区不变的话，还可以放在同一个任务中执行。 (4)MapReduce处理逻辑隐藏在代码中，不直观；Spark代码不包含操作细节，逻辑更清 晰。 (5)MapReduce中间结果放在HDFS中；Spark中间结果放在内存中，内存放不下时才写 入本地磁盘而不是HDFS，这显著提高了性能，特别是在迭代式数据处理的场合。 (6)MapReduce中，reduce任务需要等待所有map任务完成后才可以开始；在Spark中 ，分区相同的转换构成流水线放到同一个任务中运行。
精品课件-云计算与大数据-第8章 Hadoop和Spark平台
8.2 Hadoop组成、体系结构和部署
8.2.3 Hadoop部署 3、完全分布式模式 • 完全分布式模式将构建一个Hadoop集群，实现真正的分布式。
其体系结构由两层网络拓扑组成，形成多个机架（Rack）， 每个机架会有30~40台的机器，这些机器共享具有GB级别带 宽的网络交换机。 • 在配置Hadoop时，配置文件分为两类： (1) 只 读 类 型 的 默 认 文 件 ： core-default.xml 、 hdfsdefault.xml、mapred-default.xml、mapred-queues.xml (2) 定 位 （ site-specific ） 设 置 ： core-site.xml 、 hdfssite.xml、mapred-site.xml、mapred-queues.xml
8.2 Hadoop组成、体系结构和部署
8.2.1 Hadoop的组成 3、Flume数据收集工具 • Flume
的海量日志采集、聚合和传输的系统，Flume支持在日志系 统中定制各类数据发送方，用于收集数据；同时，Flume提 供对数据进行简单处理，并写到各种数据接受方（可定制） 的能力。
8.2 Hadoop组成、体系结构和部署 8.2.1 Hadoop的组成
8.2 Hadoop组成、体系结构和部署
8.2.1 Hadoop的组成 1、Sqoop数据库同步工具 • Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方
模块存在，后来为了让使用者能够快速部署，也为了让开发 人员能够更快速的迭代开发，Sqoop独立成为一个Apache项 目。它主要用于在Hadoop与传统的数据库等之间进行数据的 传递，可以将一个关系型数据库（例如：MySQL、Oracle、 Postgres等）中的数据导入到Hadoop的HDFS中，也可以将 HDFS的数据导入到关系型数据库中。
大数据分析技术基础教学课件3-大数据处理平台Hadoop
•dfs.replication表示副本的数量，伪分布式要设置为1 •.dir表示本地磁盘目录，是存储fsimage文件的地方 •dfs.datanode.data.dir表示本地磁盘目录，HDFS数据存放block的地方
mapred-site.xml <configuration>
伪分布式模式 • Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件
分布式模式 • 多个节点构成集群环境来运行Hadoop
Hadoop的安装
Hadoop基本安装配置主要包括以下几个步骤：
第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最 后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则增加了NameNode HA等新的 重大特性
第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0， 是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x 增加了NameNode HA和Wire-compatibility两个重大特性
Pig是一个用于大数据分析的工具，包括了一个数据分析语言和其运行环 境。Pig的特点是其结构设计支持真正的并行化处理，因此适合应用于大数 据处理环境。
Ambari是一个用于安装、管理、监控hadoop集群的web界面工具。目前已 支持包括MapReduce、HDFS、HBase在内的几乎所有hadoop组件的管理。
◦ 10年后，摩尔在IEEE国际电子组件大会上将他的语言修正为半导体芯片上集成的晶体管和电阻的 数量将每两年增加1倍。
mapred-site.xml <configuration>
伪分布式模式 • Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件
分布式模式 • 多个节点构成集群环境来运行Hadoop
Hadoop的安装
Hadoop基本安装配置主要包括以下几个步骤：
第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x最 后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x则增加了NameNode HA等新的 重大特性
第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop 1.0， 是一套全新的架构，均包含HDFS Federation和YARN两个系统，相比于0.23.x，2.x 增加了NameNode HA和Wire-compatibility两个重大特性
Pig是一个用于大数据分析的工具，包括了一个数据分析语言和其运行环 境。Pig的特点是其结构设计支持真正的并行化处理，因此适合应用于大数 据处理环境。
Ambari是一个用于安装、管理、监控hadoop集群的web界面工具。目前已 支持包括MapReduce、HDFS、HBase在内的几乎所有hadoop组件的管理。
◦ 10年后，摩尔在IEEE国际电子组件大会上将他的语言修正为半导体芯片上集成的晶体管和电阻的 数量将每两年增加1倍。
《hadoop基础》课件——第三章 Hadoop集群的搭建及配置
19
Hadoop集群—文件监控
http://master:50070
20
Hadoop集群—文件监控
http://master:50070
21
Hadoop集群—文件监控
http://master:50070
22
Hadoop集群—任务监控
http://master:8088
23
Hadoop集群—日志监控
http://master:19888
24
Hadoop集群—问题 1.集群节点相关服务没有启动？
1. 检查对应机器防火墙状态； 2. 检查对应机器的时间是否与主节点同步；
25
Hadoop集群—问题
2.集群状态不一致，clusterID不一致？ 1. 删除/data.dir配置的目录； 2. 重新执行hadoop格式化；
准备工作：
1.Linux操作系统搭建完好。 2.PC机、服务器、环境正常。 3.搭建Hadoop需要的软件包（hadoop-2.7.6、jdk1.8.0_171）。 4.搭建三台虚拟机。（master、node1、node2）
存储采用分布式文件系统 HDFS，而且，HDFS的名称 节点和数据节点位于不同机 器上。
2、vim编辑core-site.xml，修改以下配置： <property>
<name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/soft/hadoop-2.7.6/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>1440</value> </property>
Hadoop生态圈各个组件简介
Hadoop⽣态圈各个组件简介Hadoop是⼀个能够对⼤量数据进⾏分布式处理的软件框架。
具有可靠、⾼效、可伸缩的特点。
Hadoop的核⼼是HDFS和MapReduce,HDFS还包括YARN。
1.HDFS(hadoop分布式⽂件系统)是hadoop体系中数据存储管理的他是⼀个基础。
它是⼀个⾼度容错的的系统，能检测和应对硬件故障。
client:切分⽂件，访问HDFS，与之交互，获取⽂件位置信息，与DataNode交互，读取和写⼊数据。
namenode:master节点，在hadoop1.x中只有⼀个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求。
DataNode：slave节点，存储实际的数据，汇报存储信息给namenode.secondary namenode:辅助namenode,分担其⼯作量：定期合并fsimage和fsedits,推送给namenode;紧急情况下和辅助恢复namenode,但其并⾮namenode的热备。
2.mapreduce(分布式计算框架)mapreduce是⼀种计算模型，⽤于处理⼤数据量的计算。
其中map对应数据集上的独⽴元素进⾏指定的操作，⽣成键-值对形式中间，reduce则对中间结果中相同的键的所有的值进⾏规约，以得到最终结果。
jobtracker：master节点，只有⼀个管理所有作业，任务/作业的监控，错误处理等，将任务分解成⼀系列任务，并分派给tasktracker. tacktracker:slave节点，运⾏map task和reducetask;并与jobtracker交互，汇报任务状态。
map task:解析每条数据记录，传递给⽤户编写的map()执⾏，将输出结果写⼊到本地磁盘（如果为map-only作业，则直接写⼊HDFS）。
reduce task:从map的执⾏结果中，远程读取输⼊数据，对数据进⾏排序，将数据分组传递给⽤户编写的reduce函数执⾏。
Hadoop及Mapreduce入门 PPT课件
• Yahoo！： 4000 nodes (2*4cpu boxes w 4*1TB disk & 16GB RAM)
• More on /hadoop/PoweredBy
Goals of HDFS
• 大数据集存储 – 10K nodes, 100 million files, 10 PB
}
/** * Called once at the end of the task. */
protected void cleanup(Context context) throws IOException, InterruptedException {}
}
Job Setup
public static void main(String[] args) throws Exception { String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(new Configuration(), "word count"); job.setJarByClass(WordCount.class);
• Meta-data记录了 – 文件列表信息 – 每个文件的块列表 – 每个块对应的DataNode – 文件属性，如创建时间、创建者、几份副本等
• Transaction Log (EditLog ) –记录了文件系统的每个变化，如创建文件、删除文件、修改文 件的副本数等 – EditLog会被合并为FsImage并存入磁盘
《hadoop培训》课件
Hadoop的数据类型和处理模型
总结词
介绍Hadoop支持的数据类型和处理模型，如 MapReduce、Hive、Pig等。
详细描述
Hadoop支持多种数据类型和处理模型，其中最核心的 是MapReduce。MapReduce是一种编程模型，用于处 理大规模数据集。它可以将数据集拆分成多个小数据集 ，并在多个节点上并行处理，最后将结果汇总得到最终 结果。除了MapReduce外，Hadoop还支持其他数据处 理工具，如Hive、Pig等。这些工具提供了更高级别的抽 象，使得用户可以更加方便地进行数据分析和处理。
案例三：推荐系统实现
数据来源
用户行为数据、物品属性数据等 。
数据处理
使用Hadoop的MapReduce框架 对数据进行处理，提取用户和物 品的特征，生成分析所需的数据 集。
分析方法
利用机器学习、深度学习等技术 ，构建推荐算法模型，如协同过 滤、基于内容的推荐等。
总结词
通过Hadoop处理大规模用户数 据和物品数据，构建推荐算法模 型，实现个性化推荐。
应用场景
根据分析结果，优化系统性能、加强安全 防护、提高系统的可用性和安全性。
数据来源
各类服务器、网络设备、应用系统的日志 数据。
分析方法
利用日志分析技术，监控系统的性能指标 、安全事件等，及时发现和解决潜在的问 题。
数据处理
使用Hadoop的MapReduce框架对日志 数据进行处理，提取关键信息，生成分析 所需的数据集。
置等。
Hadoop文件系统（HDFS）
要分布式文件系统（HDFS）的特点、架构 和操作方式。
Hadoop分布式文件系统（HDFS）是Hadoop的核心组件 之一，它为Hadoop提供了大容量数据的存储和处理能力 。HDFS采用主从架构，由一个NameNode和多个 DataNode组成。NameNode负责管理文件系统的元数据 ，而DataNode负责存储实际的数据。在操作方式上， HDFS提供了基于命令行的接口和编程接口（如Java API） ，方便用户进行数据存储、访问和管理。
linziyu-BigData-PPT-Chapter3-Hadoop
Hadoop成本低：依赖于廉价服务器：因此它的成本比较低，任何人都可 以使用。
运行在Linux平台上：Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。 支持多种编程语言：Hadoop 上的应用程序也可以使用其他语言编写，比 如 C++。
《大数据技术基础》 厦门大学计算机系 林子雨 ziyulin@ 2013年9月修订版
《大数据技术基础》
厦门大学计算机系
林子雨
ziyulin@
2013年9月修订版
Hadoop项目及其结构
Avro用于数据序列化的系统； HDFS是一种分布式文件系统，运行于大型商用机集群，HDFS为HBase提 供了高可靠性的底层存储支持； HBase位于结构化存储层，是一个分布式的列存储数据库； MapReduce是一种分布式数据处理模式和执行环境，为HBase提供了高性 能的计算能力； Zookeeper是一个分布式的、高可用性的协调服务，提供分布式锁之类的 基本服务，用于构建分布式应用，为HBase提供了稳定服务和failover机制； Hive是一个建立在Hadoop 基础之上的数据仓库，它提供了一些用于数据 整理、特殊查询和分析存储在Hadoop 文件中的数据集的工具； Pig是一种数据流语言和运行环境，用以检索非常大的数据集，大大简化了 Hadoop常见的工作任务； Sqoop为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据 向HBase中迁移变的非常方便。
《大数据技术基础》
厦门大学计算机系
林子雨
ziyulin@
2013年9月修订版
MapReduce的体系结构
MapReduce是一种并行编程模式，这种模式使得软件开发者可以 轻松地编写出分布式并行程序。 在Hadoop的体系结构中，MapReduce是一个简单易用的软件框架 ，基于它可以将任务分发到由上千台商用机器组成的集群上，并以一种 高容错的方式并行处理大量的数据集，实现Hadoop的并行任务处理功 能。 MapReduce框架是由一个单独运行在主节点上的JobTracker 和运 行在每个集群从节点上的TaskTracker共同组成的。主节点负责调度构 成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控 它们的执行情况，并且重新执行之前失败的任务；从节点仅负责由主节 点指派的任务。当一个Job 被提交时，JobTracker接收到提交作业和配 置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker的执行。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
zookeeper
概 念
iSend
iReceive iSend iReceive
Zookeeper典型应用-工作过程
Zookeeper
架构
工作原理：Paxos算法
z3 z1
架 构
z2
iSend
iReceive
Zookeeper
实例
cSlave0 cSlave1 cSlave2
部 署
yum install zookeeper-server
cMaster
cSlave0
现 实 需 求 2006年谷歌发表论文BigTable， 年末、微软旗下自然语言搜索 公司Powerset出于处理大数据 的需求，按论文思想，开启了 HBase项目 在 线 访 问 在线 实时 服务
例 题
cMaster
cSlave0
cSlave2
iClient
cProxy
cSlave1
Zookeeper
为什么
部 分 失 败 现 实 需 求
zookeeper
当一条消息在网络中的两个节点之间传送时，由于可能会出现各 种问题，发送者无法知道接收者是否已经接收到这条消息，比如 在接收者还未接收到消息前，发生网络中断，再比如接收者接收 到消息后发生网络中断，甚至是接收进程死掉。发送者能够获取 真实情况的唯一途径是重新连接接收者，并向它发出询问。
例 题
①分别使用命令行接口和API接口向zookeeper存储树中新建一 节点并存入信息 ②假设机器cSlave0上有进程Pa，机器cSlave2上有进程Pb，使 用zookeeper实现进程Pa与Pb相互协作
HBase
为什么
cSlave2
客户欲实 时读HDFS 里数据
太 慢
缓存机制 索引机制
iClient
Flume
Hcatalog
Sqoop
Map Reduce
Chukwa
Pig
HBase
Hive
Cassandra
Impala
Mahout
Accumulo
RHadoop
Phoenix
Giraph
Search Whirr
HttpFs
WebHdfs
YARN：分布式操作系统
Avro
Zookeeper
HDFS：分布式存储
cMaster
部 署
cSlave0
yum install hadoop-hdfs-datanode
cSlave1
cSlave2
yum install hadoop-client
iClient
Hdfs
实例
①在hdfs集群里新建joe用户并初始化hdfs里joe用户家目录。 ②使用joe用户，在iClient上将/ect/hadoop/conf/下所有文件导入joe用户家目录下input目录。
cProxy
cSlave1
部署规划
cMaster Hadoop HBase Zookeeper Pig Hive Flume Oozie Mahout Flume汇 Oozie Server master master
cSlave0 slave slave
cSlave1 slave slave
cSlave2 slave slave zookeeper
cProxy
MapReduce
实例
cSlave0
yum install hadoop-mapreduce
cSlave1
部 署
cSlave2
yum install hadoop-mapreduce-historyserver
cProxy
MapReduce
实例
①使用WordCount，统计input目录下文件里单词出现次数 ②使用Grep程序，查询input下所有文件里，以dfs开头且中间字母a到z的单词
系统
JDK 集群 客户端 执行例题的机器 执行例题时用户
CentOS-6.4 64bit
jdk-7u45-linux-x64.rpm cMaster、cSlave0、cSlave1、cSlave2、cProxy iClient iClient joe
cMaster
cSlave0
cSlave2
iClient
cProxy proxy
iClient Hadoop client Hbase client Zookeeper client Pig Hive Flume源 Oozie client mahout
zookeeper zookeeper
Hdfs
实例
yum install hadoop-hdfs-namenode
即在分布式 环境下甚至 不知道一个 操作是否已 经失败。
分布式 系统固 有特征
iReceive宕机
网络中断
iSend iReceive
Zookeeper
概念
Zookeeper（又称分布式锁）是由开源组织Apache开发的一个的高效、可靠的分布式协调服务。
zookeeper1
zookeeper2
zookeeper3
RHadoop
Phoenix
Giraph
Search Whirr
HttpFs
WebHdfs
YARN：分布式操作系统
Avro
Zookeeper
HDFS：分布式存储
组件分类
Ambari/Cloudera Manager Hue BigTop
Shark
Storm
Spark
Mesos
Tez Drill
Hama
Hadoop生态圈
组件简介
Ambari/Cloudera Manager Hue BigTop
Shark
Storm
Spark
Mesos
Tez talog
Sqoop
Map Reduce
Chukwa
Pig
HBase
Hive
Cassandra
Impala
Mahout
Accumulo
目录
1. Hdfs 2. Yarn
从社会需求角度：为什么出现
3. MapReduce
4. Zookeeper 5. HBase 6. Pig
实题
为什么
是什么
技术角度：概念、架构
7. Hive
实战：部署、例题
8. Oozie 9. Flume 3.MapReduce模板 10. Mahout
相关约定
例 题
cMaster
cSlave0
cSlave2
iClient
cProxy
cSlave1
Yarn
实例
yum install hadoop-yarn-resourcemanager
cMaster
部 署
cSlave0
hadoop-yarn-nodemanager
cSlave1
cSlave2
yum install hadoop-yarn-proxyserver