hadoop核⼼组件概述及hadoop集群的搭建
什么是hadoop？
Hadoop 是 Apache 旗下的⼀个⽤ java 语⾔实现开源软件框架，是⼀个开发和运⾏处理⼤规模数据的软件平台。允许使⽤简单的编程模型在⼤量计算机集群上对⼤型数据集进⾏分布式处理。
hadoop提供的功能：利⽤服务器集群，根据⽤户的⾃定义业务逻辑，对海量数据进⾏分布式处理。
狭义上来说hadoop 指 Apache 这款开源框架，它的核⼼组件有：
1. hdfs（分布式⽂件系统）（负责⽂件读写）
2. yarn（运算资源调度系统）(负责为MapReduce程序分配运算硬件资源)
3. MapReduce（分布式运算编程框架）
扩展：
关于hdfs集群： hdfs集群有⼀个name node(名称节点)，类似zookeeper的leader(领导者)，namenode记录了⽤户上传的⼀些⽂件分别在哪
些DataNode上，记录了⽂件的源信息(就是记录了⽂件的名称和实际对应的物理地址)，name node有⼀个公共端⼝默认是9000，这个端⼝
是针对客户端访问的时候的，其他的⼩弟(跟随者)叫data node，namenode和datanode会通过rpc进⾏远程通讯。
Yarn集群： yarn集群⾥的⼩弟叫做node manager，MapReduce程序发给node manager来启动，MapReduce读数据的时候去找
hdfs(datanode)去读。(注：hdfs集群和yarn集群最好放在同⼀台机器⾥)，yarn集群的⽼⼤主节点resource manager负责资源调度，应(最好)
单独放在⼀台机器。
⼴义上来说，hadoop通常指更⼴泛的概念--------hadoop⽣态圈 。
当下的 Hadoop 已经成长为⼀个庞⼤的体系，随着⽣态系统的成长，新出现的项⽬越来越多，其中不乏⼀些⾮ Apache 主管的项⽬，这
些项⽬对 HADOOP 是很好的补充或者更⾼层的抽象。⽐如：
1
第1章
初识Hadoop大数据技术
本章主要介绍大数据的时代背景，给出了大数据的概念、特征，还介绍了大数据相关问题的解决方案、Hadoop大数据技术以及Hadoop的应用案例。
本章的主要内容如下。
（1）大数据技术概述。
（2）Google的三篇论文及其思想。
（3）Hadoop概述。
（4）Hadoop生态圈。
（5）Hadoop的典型应用场景和应用架构。
1.1 大数据技术概述
1.1.1 大数据产生的背景
1946年，计算机诞生，当时的数据与应用紧密捆绑在文件中，彼此不分。19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导，具体发展阶段如图1-1所示。 Hadoop大数据技术与应用
2
图1-1 数据管理技术在2001年前的两个发展阶段
2001年后，互联网迅速发展，数据量成倍递增。据统计，目前，超过150亿个设备连接到互联网，全球每秒钟发送290万封电子邮件，每天有2.88万小时视频上传到YouTube网站，Facebook网站每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB。2016年全球产生数据量16.1ZB，预计2020年将增长到35ZB（1ZB = 1百万，PB = 10亿TB），如图1-2所示。
图1-2 IDC数据量增长预测报告
2011年5月，EMC World 2011大会主题是“云计算相遇大数据”，会议除了聚焦EMC公司一直倡导的云计算概念外，还抛出了“大数据”（BigData）的概念。2011年6月底，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，并予以积极的跟进。 19世纪60年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导
Nutch相关框架视频教程
1 / 20
第十三讲
1、改变负载
三台机器，改变负载
host2(NameNode、DataNode、TaskTracker)
host6(SecondaryNameNode、DataNode、TaskTracker)
host8(JobTracker 、DataNode、TaskTracker)
指定SecondaryNameNode为host6：
vi conf/masters指定host6
scp conf/masters host6:/home/hadoop/hadoop-1.1.2/conf/masters
scp
conf/masters host8:/home/hadoop/hadoop-1.1.2/conf/masters
vi conf/hdfs-site.xml
dfs.http.address
host2:50070
dfs.secondary.http.address
host6:50090
scp conf/hdfs-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
scp conf/hdfs-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/hdfs-site.xml
指定JobTracker为host8：
vi conf/mapred-site.xml
mapred.job.tracker
host8:9001
scp conf/mapred-site.xml host6:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml
scp conf/mapred-site.xml host8:/home/hadoop/hadoop-1.1.2/conf/mapred-site.xml
题库（第二、四、九章）
第二章
单选题
1、下面的配置项配置在hadoop哪个配置文件？（ A ）
hadoop.tmp.dir
/home/hadoop/hadoop/tmp
A、core-site.xml
B、hdfs-site.xml
C、mapred-site.xml
D、yarn-site.xml
2、端口50070默认是Hadoop哪个服务的端口？（ A ）
A、NameNode
B、DataNode
C、SecondaryNameNode
D、Yarn
3、Hadoop完全分布模式配置免密登录是要？（ C ）
A、实现主节点到其他节点免密登录
B、实现从节点到主节点的免密登录
C、主节点和从节点任意两个节点之间免密登录
D、以上都不是
4、安装Hadoop时，发现50070对应的页面无法打开，可以通过下面哪个命令查看某个端口（TCP或UDP）是否在监听?（ B ）
A、ps B、netstat
C、ping
D、ifconfig
5、下面哪个目录保存了Hadoop集群的命令（比如启动Hadoop）?（ B ）
A、bin
B、sbin
C、etc
D、share
6、把公钥追加到授权文件的命令是？（ A ）
A、ssh-copy-id
B、ssh-add
C、ssh
D、ssh-keygen
7、采用用户user1安装hadoop伪分布式时，解压hadoop安装包采用下面命令：
sudo tar -zxvf hadoop-2.7.3.tar.gz -C ~
运行ls -al命令显示
drwxr-xr-x 11 root root 4096 Aug 3 01:06 hadoop-2.7.3
如果要修改hadoop-2.7.3目录的权限，采用下面哪个命令才有效而且最佳？（ D ）
A、chown user1:user1 hadoop-2.7.3
