Hadoop面试题目及答案(附目录)
选择题
1.下面哪个程序负责HDFS 数据存储。
a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker
答案C datanode
2. HDfS 中的block 默认保存几份？
a)3 份b)2 份c)1 份d)不确定
答案A 默认3 份
3.下列哪个程序通常与NameNode 在一个节点启动？
a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker
答案D
分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。
JobTracker 和TaskTracker
JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。
1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。
2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。
3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。
4. Hadoop 作者
a)Martin Fowler b)Kent Beck c)Doug cutting
答案C Doug cutting
5. HDFS 默认Block Size
a)32MB b)64MB c)128MB
答案：B
6. 下列哪项通常是集群的最主要瓶颈
a)CPU b)网络c)磁盘IO d)内存
答案：C 磁盘
首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
有什么特点？
1.cpu 处理能力强
2.内存够大，所以集群的瓶颈不可能是a 和d
3.如果是互联网有瓶颈，可以让集群搭建内网。每次写入数据都要通过网络（集群是内网），然后还要写入3 份数据，所以IO 就会打折扣。
7.关于SecondaryNameNode 哪项是正确的？
a)它是NameNode 的热备b)它对内存没有要求
c)它的目的是帮助NameNode 合并编辑日志，减少NameNode 启动时间
d)SecondaryNameNode 应与NameNode 部署到一个节点
答案C。
多选题：
8. 下列哪项可以作为集群的管理？
a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper
答案ABD
具体可查看什么是Zookeeper，Zookeeper 的作用是什么，在Hadoop 及hbase 中具体作用是什么。
9. 配置机架感知的下面哪项正确
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
答案ABC
具体可以参考hadoop 机架感知--加强集群稳固性，该如何配置hadoop 机架感知
10. Client 端上传文件的时候下列哪项正确
a)数据经过NameNode 传递给DataNode
b)Client 端将文件切分为Block，依次上传
c)Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作
答案B
分析：Client 向NameNode 发起文件写入的请求。NameNode 根据文件大小和文件块配置情况，返回给Client 它所管理部分DataNode 的信息。Client 将文件划分为多个Block，根据DataNode 的地址信息，按顺序写入到每一个DataNode 块中。具体查看HDFS 体系结构简介及优缺点。
11. 下列哪个是Hadoop 运行的模式
a)单机版b)伪分布式c)分布式
答案ABC 单机版,伪分布式只是学习用的。
12. Cloudera 提供哪几种安装CDH 的方法
a)Cloudera manager b)Tarball c)Yum d)Rpm
答案：ABCD 具体可以参考Hadoop CDH 四种安装方式总结及实例指导。
简答题
1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式
2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开
发过程中运行MapReduce程序，这也是最少使用的一个模式。
3. 伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。
4. VM是否可以称为Pseudo？不是，两个事物，同时Pseudo只针对Hadoop。
5. 全分布模式又有什么注意点？全分布模式通常被用于生产环境，这里我们使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。这里会存在Namenode运行的主机，Datanode运行的主机，以及task tracker运行的主机。在分布式环境下，主节点和从节点会分开。
6. Hadoop是否遵循UNIX模式？是的，在UNIX用例下，Hadoop还拥有“conf”目录。
7. Hadoop安装在什么目录下？Cloudera和Apache使用相同的目录结构，Hadoop被安装在cd/usr/lib/hadoop-0.20/。
8. Namenode、Job tracker和task tracker的端口号是？Namenode，70；Job tracker，30；Task tracker，60。
9. Hadoop的核心配置是什么？Hadoop的核心配置通过两个xml文件来完成：1，hadoop-default.xml；2，hadoop-site.xml。这些文件都使用xml格式，因此每个xml中都有一些属性，包括名称和值，但是当下这些文件都已不复存在。
10. 那当下又该如何配置？Hadoop现在拥有3个配置文件：1，core-site.xml；2，hdfs-site.xml；3，mapred-site.xml。这些文件都保存在conf/子目录下。
11. RAM的溢出因子是？溢出因子（Spill factor）是临时文件中储存文件的大小，也就是Hadoop-temp目录。
12. fs.mapr.working.dir只是单一的目录？fs.mapr.working.dir只是一个目录。
13. hdfs-site.xml的3个主要属性？https://www.doczj.com/doc/109374845.html,.dir决定的是元数据存储的路径以及DFS的存储方式（磁盘或是远端）dfs.data.dir决定的是数据存储的路径fs.checkpoint.dir用于第二Namenode
14. 如何退出输入模式？退出输入的方式有：1，按ESC；2，键入:q（如果你没有输入任何当下）或者键入:wq（如果你已经输入当下），并且按下Enter。
15. 当你输入hadoopfsck /造成“connection refused java exception’”时，系统究竟发生了什么？这意味着Namenode没有运行在你的VM之上。
16. 我们使用Ubuntu及Cloudera，那么我们该去哪里下载Hadoop，或者是默认就与Ubuntu 一起安装？这个属于Hadoop的默认配置，你必须从Cloudera或者Edureka的dropbox下载，然后在你的系统上运行。当然，你也可以自己配置，但是你需要一个Linux box，Ubuntu或者是Red Hat。在Cloudera网站或者是Edureka的Dropbox中有安装步骤。
17. “jps”命令的用处？这个命令可以检查Namenode、Datanode、Task Tracker、Job Tracker 是否正常工作。
18. 如何重启Namenode？点击stop-all.sh，再点击start-all.sh。键入sudo hdfs（Enter），su-hdfs （Enter），/etc/init.d/ha（Enter），及/etc/init.d/hadoop-0.20-namenode start（Enter）。
19. Fsck的全名？全名是：File System Check。
20. 如何检查Namenode是否正常运行？如果要检查Namenode是否正常工作，使用命令/etc/init.d/hadoop-0.20-namenode status或者就是简单的jps。
21. mapred.job.tracker命令的作用？可以让你知道哪个节点是Job Tracker。
22. /etc /init.d命令的作用是？/etc /init.d说明了守护进程（服务）的位置或状态，其实是LINUX特性，和Hadoop关系不大。
23. 如何在浏览器中查找Namenode？如果你确实需要在浏览器中查找Namenode，你不再需要localhost:8021，Namenode的端口号是50070。
24. 如何从SU转到Cloudera？从SU转到Cloudera只需要键入exit。
25. 启动和关闭命令会用到哪些文件？Slaves及Masters。
26. Slaves由什么组成？Slaves由主机的列表组成，每台1行，用于说明数据节点。
27. Masters由什么组成？Masters同样是主机的列表组成，每台一行，用于说明第二Namenode服务器。
28. hadoop-env.sh是用于做什么的？hadoop-env.sh提供了Hadoop中. JA V A_HOME的运行环境。
29. Master文件是否提供了多个入口？是的你可以拥有多个Master文件接口。
30. Hadoop-env.sh文件当下的位置？hadoop-env.sh现在位于conf。
31. 在Hadoop_PID_DIR中，PID代表了什么？PID代表了“Process ID”。
32. /var/hadoop/pids用于做什么？/var/hadoop/pids用来存储PID。
33. hadoop-metrics.properties文件的作用是？hadoop-metrics.properties被用做“Reporting”，控制Hadoop报告，初始状态是“not to report”。
34. Hadoop需求什么样的网络？Hadoop核心使用Shell（SSH）来驱动从节点上的服务器进程，并在主节点和从节点之间使用password-less SSH连接。
35. 全分布式环境下为什么需求password-less SSH？这主要因为集群中通信过于频繁，Job Tracker需要尽可能快的给Task Tracker发布任务。
36. 这会导致安全问题吗？完全不用担心。Hadoop集群是完全隔离的，通常情况下无法从互联网进行操作。与众不同的配置，因此我们完全不需要在意这种级别的安全漏洞，比如说通过互联网侵入等等。Hadoop为机器之间的连接提供了一个相对安全的方式。
37. SSH工作的端口号是？SSH工作的端口号是NO.22，当然可以通过它来配置，22是默认的端口号。
38. SSH中的注意点还包括？SSH只是个安全的shell通信，可以把它当做NO.22上的一种协议，只需要配置一个密码就可以安全的访问。
39. 为什么SSH本地主机需要密码？在SSH中使用密码主要是增加安全性，在某些情况下也根本不会设置密码通信。
40. 如果在SSH中添加key，是否还需要设置密码？是的，即使在SSH中添加了key，还是需要设置密码。
41. 假如Namenode中没有数据会怎么样？没有数据的Namenode就不能称之为Namenode，通常情况下，Namenode肯定会有数据。
42. 当Job Tracker宕掉时，Namenode会发生什么？当Job Tracker失败时，集群仍然可以正常工作，只要Namenode没问题。
43. 是客户端还是Namenode决定输入的分片？这并不是客户端决定的，在配置文件中以及决定分片细则。
44. 是否可以自行搭建Hadoop集群？是的，只要对Hadoop环境足够熟悉，你完全可以这么做。
45. 是否可以在Windows上运行Hadoop？你最好不要这么做，Red Hat Linux或者是Ubuntu 才是Hadoop的最佳操作系统。在Hadoop安装中，Windows通常不会被使用，因为会出现各种各样的问题。因此，Windows绝对不是Hadoop的推荐系统。
1 请列出你所知道的hadoop 调度器并简要说明其工作方法
随着MapReduce的流行，其开源实现Hadoop也变得越来越受推崇。在Hadoop系统中，有一个组件非常重要，那就是调度器，它的作用是将系统中空闲的资源按一定策略分配给作业。在Hadoop中，调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。
Hadoop中常见的调度器有三种，分别为：
（注：本文介绍的Hadoop调度器不够系统化，如果想了解更系统化的Hadoop调度器，可阅读我的最新书籍《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》（购买说明）第10章“Hadoop多用户作业调度器分析”，分析了当前比较流行的FIFO、Capacity 个Fair三种调度器的配置方法、实现机制和优缺点对比，当然，也介绍了其他类型的几种调度器。）
（1）默认的调度器FIFO
Hadoop中默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。
（2）计算能力调度器Capacity Scheduler
支持多个队列，每个队列可配置一定的资源量，每个队列采用FIFO调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制。（3）公平调度器Fair Scheduler
同计算能力调度器类似，支持多队列多用户，每个队列中的资源量可以配置，同一队列中的作业公平共享队列中所有资源，具体算法参见我的博文《Hadoop公平调度器算法解析》
实际上，Hadoop的调度器远不止以上三种，最近，出现了很多针对新型应用的Hadoop调度器。
2 MapReduce 中的两表join 几种方案
1. 概述
在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。
本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据集的优化方法。
2. 常见的join方法介绍
假设要进行join的数据分别来自File1和File2.
2.1 reduce side join
reduce side join是一种最简单的join方式，其主要思想如下：
在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签（tag）,比如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段的主要任务是对不同文件中的数据打标签。
在reduce阶段，reduce函数获取key相同的来自File1和File2文件的value list，然后对于同一个key，对File1和File2中的数据进行join（笛卡尔乘积）。即：reduce阶段进行实际的连接操作。
REF：hadoop join之reduce side join
https://www.doczj.com/doc/109374845.html,/huashetianzu/article/details/7819244
2.2 map side join
之所以存在reduce side join，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中。Reduce side join是非常低效的，因为shuffle阶段要进行大量的数据传输。
Map side join是针对以下场景进行的优化：两个待连接表中，有一个表非常大，而另一个表非常小，以至于小表可以直接存放到内存中。这样，我们可以将小表复制多份，让每个map task内存中存在一份（比如存放到hash table中），然后只扫描大表：对于大表中的每一条记录key/value，在hash table中查找是否有相同的key的记录，如果有，则连接后输出即可。为了支持文件的复制，Hadoop提供了一个类DistributedCache，使用该类的方法如下：（1）用户使用静态方法DistributedCache.addCacheFile()指定要复制的文件，它的参数是文件的URI（如果是HDFS上的文件，可以这样：hdfs://namenode:9000/home/XXX/file，其中9000是自己配置的NameNode端口号）。JobTracker在作业启动之前会获取这个URI列表，并将相应的文件拷贝到各个TaskTracker的本地磁盘上。（2）用户使用DistributedCache.getLocalCacheFiles()方法获取文件目录，并使用标准的文件读写API读取相应的文件。
REF：hadoop join之map side join
https://www.doczj.com/doc/109374845.html,/huashetianzu/article/details/7821674
2.3 Semi Join
Semi Join，也叫半连接，是从分布式数据库中借鉴过来的方法。它的产生动机是：对于reduce side join，跨机器的数据传输量非常大，这成了join操作的一个瓶颈，如果能够在map端过滤掉不会参加join操作的数据，则可以大大节省网络IO。
实现方法很简单：选取一个小表，假设是File1，将其参与join的key抽取出来，保存到文件File3中，File3文件一般很小，可以放到内存中。在map阶段，使用DistributedCache将File3复制到各个TaskTracker上，然后将File2中不在File3中的key对应的记录过滤掉，剩下的reduce阶段的工作与reduce side join相同。
更多关于半连接的介绍，可参考：半连接介绍：https://www.doczj.com/doc/109374845.html,/view/ae7442db7f1922791688e877.html
REF：hadoop join之semi join
https://www.doczj.com/doc/109374845.html,/huashetianzu/article/details/7823326
2.4 reduce side join + BloomFilter
在某些情况下，SemiJoin抽取出来的小表的key集合在内存中仍然存放不下，这时候可以使用BloomFiler以节省空间。
BloomFilter最常见的作用是：判断某个元素是否在一个集合里面。它最重要的两个方法是：add() 和contains()。最大的特点是不会存在false negative，即：如果contains()返回false，则该元素一定不在集合中，但会存在一定的false positive，即：如果contains()返回true，则该元素一定可能在集合中。
因而可将小表中的key保存到BloomFilter中，在map阶段过滤大表，可能有一些不在小表中的记录没有过滤掉（但是在小表中的记录一定不会过滤掉），这没关系，只不过增加了少量的网络IO而已。
更多关于BloomFilter的介绍，可参考：https://www.doczj.com/doc/109374845.html,/jiaomeng/article/details/1495500 3. 二次排序
在Hadoop中，默认情况下是按照key进行排序，如果要按照value进行排序怎么办？即：对于同一个key，reduce函数接收到的value list是按照value排序的。这种应用需求在join 操作中很常见，比如，希望相同的key中，小表对应的value排在前面。
有两种方法进行二次排序，分别为：buffer and in memory sort和value-to-key conversion。
对于buffer and in memory sort，主要思想是：在reduce()函数中，将某个key对应的所有value 保存下来，然后进行排序。这种方法最大的缺点是：可能会造成out of memory。
对于value-to-key conversion，主要思想是：将key和部分value拼接成一个组合key（实现
WritableComparable接口或者调用setSortComparatorClass函数），这样reduce获取的结果便是先按key排序，后按value排序的结果，需要注意的是，用户需要自己实现Paritioner，以便只按照key进行数据划分。Hadoop显式的支持二次排序，在Configuration类中有个setGroupingComparatorClass()方法，可用于设置排序group的key值，具体参考：https://www.doczj.com/doc/109374845.html,/xuxm2007/archive/2011/09/03/2165805.html
4. 后记
最近一直在找工作，由于简历上写了熟悉Hadoop，所以几乎每个面试官都会问一些Hadoop 相关的东西，而Hadoop上Join的实现就成了一道必问的问题，而极个别公司还会涉及到DistributedCache原理以及怎样利用DistributedCache进行Join操作。为了更好地应对这些面试官，特整理此文章。
4 介绍一下hbase 过滤器
一、过滤器（Filter）
基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer，是一个服务器端（Server-side）的过滤器，这样也可以降低网络传输的压力。
要完成一个过滤的操作，至少需要两个参数。一个是抽象的操作符，Hbase提供了枚举类型的变量来表示这些抽象的操作符：LESS/LESS_OR_EQUAL/EQUAL/NOT_EUQAL等；另外一个就是具体的比较器（Comparator），代表具体的比较逻辑，如果可以提高字节级的比较、字符串级的比较等。有了这两个参数，我们就可以清晰的定义筛选的条件，过滤数据。
Java代码收藏代码
CompareFilter（CompareOp compareOp，WritableByteArrayComparable valueComparator）
CompareFilter是高层的抽象类，下面我们将看到它的实现类和实现类代表的各种过滤条件。这里实现类实际上代表的是参数中的过滤器过滤的内容，可以使主键、簇名、列值等，这就是由CompareFilter决定了。
行过滤器（RowFilter）
行过滤器的比较对象是行主键
Java代码收藏代码
Scan scan = new Scan();
Filter filter1 = new RowFilter(https://www.doczj.com/doc/109374845.html,pareOp.LESS_OR_EUQAL, new BinaryComparator(Bytes.toBytes("hello")));
scan.setFilter(filter1);
scan.close();
例中的Filter会将所有的小于等于“Hello”的主键过滤出来。
簇过滤器（FamilyFilter）
簇过滤器过滤的是簇的名字。
列过滤器（QualifierFilter）
列过滤器过滤的是列的名字。
值过滤器（ValueFilter）
值过滤器过滤的是扫描对象的值。
单值过滤器（SingleColumnValueFilter）
单值过滤器是以特定列的值为过滤内容，与值过滤器不同的是，这里是特定的列，而值过滤器比较的是行内的所有列。所有在使用单值过滤器的时候要指定比较的列的坐标。
Java代码收藏代码
SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, WritableByteArrayComparable comparator)
对于找不到该列的行，可以有特殊的处理
Java代码收藏代码
void setFilterIfMissing(boolean filterIfMissing)
默认缺省行将被包含进过滤的结果集中。
前缀过滤器（PrefixFilter）
前缀过滤器将会过滤掉不匹配的记录，过滤的对象是主键的值。
Java代码收藏代码
PrefixFilter(byte[] prefix)
页过滤器（PageFilter）
页过滤器可以根据主键有序返回固定数量的记录，这需要客户端在遍历的时候记住页开始的地方，配合scan的startkey一起使用。
Java代码收藏代码
PageFilter(int size)
键过滤器（KeyOnlyFilter）
键过滤器可以简单的设置过滤的结果集中只包含键而忽略值，这里有一个选项可以把结果集的值保存为值的长度。
FirstKeyOnlyFilter
在键过滤器的基础上，根据列有序，只包含第一个满足的键。
ColumnPrefixFilter
这里过滤的对象是列的值。
TimestampsFilter
Java代码收藏代码
TimestampsFilter(List
这里参数是一个集合，只有包含在集合中的版本才会包含在结果集中。
包装类过滤器，此类过滤器要通过包装其他的过滤器才有意义，是其他过滤器的一种加强。
SkipFilter
Java代码收藏代码
SkipFilter(Filter filter)
过滤器集合（FilterList）
Hbase的过滤器设计遵照于设计模式中的组合模式，以上的所有过滤器都可以叠加起来共同作用于一次查询。
知识点
HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及内容数据进行维护，并不断读取记录集群中DataNode主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储；
5. DataNode在HDFS集群中担任任务具体执行角色，是集群的工作节点。文件被分成若干个相同大小的数据块，分别存储在若干个DataNode上，DataNode会定期向集群内NameNode 发送自己的运行状态与存储内容，并根据NameNode发送的指令进行工作；
6. NameNode负责接受客户端发送过来的信息，然后将文件存储位置信息发送给提交请求的客户端，由客户端直接与DataNode进行联系，从而进行部分文件的运算与操作。
7. Block是HDFS的基本存储单元，默认大小是64M；
8. HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到3个相互独立的硬件上，这样可以快速恢复损坏的数据；
9. 用户可以使用既定的API接口对HDFS中的文件进行操作；
10. 当客户端的读取操作发生错误的时候，客户端会向NameNode报告错误，并请求NameNode排除错误的DataNode后后重新根据距离排序，从而获得一个新的DataNode的读取路径。如果所有的DataNode都报告读取失败，那么整个任务就读取失败；
11. 对于写出操作过程中出现的问题，FSDataOutputStream并不会立即关闭。客户端向NameNode报告错误信息，并直接向提供备份的DataNode中写入数据。备份DataNode被升级为首选DataNode，并在其余2个DataNode中备份复制数据。NameNode对错误的DataNode 进行标记以便后续对其进行处理
1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper 3. 下列哪个程序通常与 NameNode 在同一个节点启动__D___。 A. TaskTracker B. DataNode C. SecondaryNameNode D. Jobtracker 4. HDFS 默认 Block Size的大小是___B___。 5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络
C. 磁盘IO D. 内存 6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架 B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写 D. MapReduce隐藏了并行计算的细节，方便使用 8. HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是 __D____。 A．一次写入，少次读 B．多次写入，少次读 C．多次写入，多次读 D．一次写入，多次读 9. HBase依靠__A____存储底层数据。 A. HDFS B. Hadoop C. Memory D. MapReduce 10. HBase依赖___D___提供强大的计算能力。 A. Zookeeper B. Chubby C. RPC D. MapReduce
运维工程师面试题 姓名: 答题时间: 1.新安装MYSQL后怎样提升MYSQL的安全级别？ A.修改mysql默认端口 下可以通过iptables来限制访问mysql端口的IP地址 C.对所有用户设置较复杂密码并严格指定对应账号的访问IP（可在mysql库中user表中指定用户的访问可访问IP地址） 特权账号的处理（建议给root账号设置强密码，并指定只允许本地登录） E.开启二进制查询日志和慢查询日志 安装目录及数据存储目录权限控制：给mysql安装目录读取权限，给mysql日志和数据所在目录读取和写入权限 G.删除无用mysql账号和删除无用的数据库（安装好的mysql默认会有个test库，可将其删除） 2.MYSQL的主从原理，怎么配置文件？ 整体上来说，复制有3个步骤： 将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； 将master的binary log events拷贝到它的中继日志(relay log)； 重做中继日志中的事件，将改变反映它自己的数据。 3.mysql主从复制的优点 <1> 如果主服务器出现问题，可以快速切换到从服务器提供的服务； <2> 可以在从服务器上执行查询操作，降低主服务器的访问压力；
<3> 可以在从服务器上执行备份，以避免备份期间影响主服务器的服务。 4.Mysql复制的基本原理过程 （1）Slave上面的IO线程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； （2）Master接收到来自Slave的IO线程的请求后，通过负责复制的IO线程根据请求信息读取指定日志指定位置之后的日志信息，返回给Slave端的IO线程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息在Master端binary log文件的名称以及在Binary log中的位置； （3）Slave的IO线程收到信息后，将接收到的日志内容依次写入到Slave端的RelayLog 文件（）的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的告诉master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我” （4）Slave的SQL线程检测到Relay Log中新增加了内容后，会马上解析该Log文件中的内容成为在Master端真实执行时候的那些可执行的查询或操作语句，并在自身执行那些查询或操作语句，这样，实际上就是在master端和Slave端执行了同样的查询或操作语句，所以两端的数据是完全一样的。 5.为MYSQL添加一个用户？ mysql> grant select,insert,update,delete on book.* to test2@localhost identified by “abc”;? ? #增加test2用户，密码为abc。并只能在localhost这台主机上登录，并且只能访问book这个库中的表，具有查询，插入，更新，删除权限； 语法：mysql> GRANT <权限> ON <库>.<表> TO ‘用户’@’主机名’ identified by “密码”; 6.写一个脚本将数据库备份并打包至远程服务器/backup目录下。 mount /mnt cd /mnt /usr/local/mysql/bin/mysqldump -hlocalhost -uroot test > tar czf rm -f
精品文档 1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper 3. 下列哪个程序通常与 NameNode 在同一个节点启动__D___。 A. TaskTracker B. DataNode C. SecondaryNameNode D. Jobtracker 4. HDFS 默认 Block Size的大小是___B___。 A.32MB B.64MB C.128MB D.256M 5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存 6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架 B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写 D. MapReduce隐藏了并行计算的细节，方便使用 8. HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、 高可扩展性、高吞吐率等特征，适合的读写任务是 __D____。 A．一次写入，少次读 B．多次写入，少次读 C．多次写入，多次读 D．一次写入，多次读
9. HBase依靠__A____存储底层数据。 A. HDFS B. Hadoop C. Memory D. MapReduce 10. HBase依赖___D___提供强大的计算能力。 A. Zookeeper B. Chubby C. RPC D. MapReduce 11. HBase依赖___A___提供消息通信机制 A. Zookeeper B. Chubby C. RPC D. Socket 12. 下面与HDFS类似的框架是___C____？ A. NTFS B. FAT32 C. GFS D. EXT3 13. 关于 SecondaryNameNode 下面哪项是正确的___C___。 A. 它是 NameNode 的热备 B. 它对内存没有要求 C. 它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间 D. SecondaryNameNode 应与 NameNode 部署到一个节点 14. 大数据的特点不包括下面哪一项___D___。 A. 巨大的数据量 B. 多结构化数据 C. 增长速度快 D. 价值密度高 HBase测试题 1. HBase来源于哪一项？ C
大数据工程师面试题 大数据工程师面试，对于很多人来说应该都不陌生了吧，虽说大数据就业前景很好，但想要成功进入名企，并不是一件容易的事情，不仅仅需要专业的技能，还需要你在面试的时候认真准备一下。面试的时候，我们会遇到各种各样的问题，千锋讲师今天就先讲解一下面试经常会遇到的问题，Hadoop是如何工作的？ Hadoop是一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题，因而在大数据培训机构中是必须学习的课程，也是面试中面试官非常注重的一个技术点。 Hadoop是如何工作的？ Hadoop是从Google文件系统发源而来，并且他是一个用Java开发的跨平台的应用。核心组件有: Hadoop Common，拥有其他模块所依赖的库和基础
工具，Hadoop分布式文件系统(HDFS)，负责存储，Hadoop YARN，管理计算资源，和Hadoop MapReduce，负责处理的过程。 Hadoop把文件拆成小块并且把他们分发给集群中的节点。然后，它使用打包的代码分发到节点上并行处理数据。这意味着可以处理数据的速度会比使用传统的体系结构的更快。 一个典型的Hadoop集群都会有主节点和从节点或者叫工作节点。主节点有一个任务跟踪器，任务调度，名字节点和数据节点组成。从节点通常作为一个数据节点和任务调度器，不过特殊的场景下程序可能只有数据节点然后在其他的从节点进行处理计算。 在大的Hadoop集群中，通常会使用一个专用的名字节点来管理HDFS节点的文件系统索引信息，这防止了文件系统的数据丢失和损坏。 千锋教育拥有一支的强师队伍，在教学研究方面，我们老师不断的推陈出新，探索更新的教学方式，结合时代所需不断更新课程大纲，加强学生对于知识的理解和运用。千锋讲师对于大数据行业时刻保持一定的敏感性和前瞻性，定期与各大企业的技术官交流分析，掌握大数据的发展动向，不仅仅可以帮助同学们更好的学习大数据技术，还会预测一些大数据工程师面试题，为同学们的就业之路披荆斩棘。 关键词：大数据工程师面试题
h a d o o p练习题--带 答案
Hadoop 练习题姓名：分数： 单项选择题 1.下面哪个程序负责HDFS数据存储。 a)NameNode b)Jobtracker c)Datanode √ d)secondaryNameNode e)tasktracker 2.HDfS中的block默认保存几份？ a)3份√ b)2份 c)1份 d)不确定 3.下列哪个程序通常与NameNode在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker√ 4.Hadoop作者 a)Martin Fowler b)Kent Beck c)Doug cutting√ 5.HDFS默认Block Size a)32MB b)64MB√ c)128MB 6.下列哪项通常是集群的最主要的性能瓶颈 a)CPU b)网络 c)磁盘√ d)内存
7.关于SecondaryNameNode哪项是正确的？ a)它是NameNode的热备 b)它对内存没有要求 c)它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间√ d)SecondaryNameNode应与NameNode部署到一个节点 8.一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？ a) 1 b)2√ c) 3 d) 4 9.HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce 任务读取该文件时input split大小为？ a)64MB b)75MB√ c)一个map读取64MB，另外一个map读取11MB 10.HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。当运 行mapreduce任务读取该文件时input split大小为？ a)64MB b)75MB c)一个map读取64MB，另外一个map读取11MB√ 多选题： 11.下列哪项可以作为集群的管理工具 a)Puppet√ b)Pdsh√ c)Cloudera Manager√ d)Rsync + ssh + scp√ 12.配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写√ b)写入数据的时候会写到不同机架的DataNode中√ c)MapReduce会根据机架获取离自己比较近的网络数据√ 13.Client端上传文件的时候下列哪项正确 a)数据经过NameNode传递给DataNode b)Client端将文件以Block为单位，管道方式依次传到DataNode√ c)Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作 d)当某个DataNode失败，客户端会继续传给其它DataNode √
Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为：core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割，分割后存放在既定的存储块 中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分，即namenode 与datanode 。一般来说，一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器，主要是用于对HDFS中所有的文件及内容 数据进行维护，并不断读取记录集群中datanode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色，是集群的工作节点。文 件被分成若干个相同大小的数据块，分别存储在若干个datanode 上，datanode 会定期向集群内namenode 发送自己的运行状态与存储内容，并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息，然后将文件存储位置信息发 送给client ，由client 直接与datanode 进行联系，从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元，默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到 3 个相互独立的硬件上，这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode 报告错误，并 请求namenode 排除错误的datanode 后，重新根据距离排序，从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息，并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ，并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为：hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为：start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录（如：/a/b/c）的命令为：hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为：hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是：Hadoop common 、HDFS 、
Hadoop面试题目及答案(附目录) 选择题 1.下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的block 默认保存几份？ a)3 份b)2 份c)1 份d)不确定 答案A 默认3 份 3.下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker 和TaskTracker JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。 1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。 2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 答案：B 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络c)磁盘IO d)内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
大数据技术Hadoop面试题,看看你能答对多少？ 单项选择题 1. 下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的block 默认保存几份？ a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络 c)磁盘 d)内存 7. 关于SecondaryNameNode 哪项是正确的？ a)它是NameNode 的热备 b)它对内存没有要求 c)它的目的是帮助NameNode 合并编辑日志，减少NameNode 启动时间 d)SecondaryNameNode 应与NameNode 部署到一个节点 多选题： 8. 下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper
9. 配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写 b)写入数据的时候会写到不同机架的DataNode 中 c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确 a)数据经过NameNode 传递给DataNode b)Client 端将文件切分为Block，依次上传 c)Client 只上传数据到一台DataNode，然后由NameNode 负责Block 复制工作 11. 下列哪个是Hadoop 运行的模式 a)单机版 b)伪分布式 c)分布式 12. Cloudera 提供哪几种安装CDH 的方法 a)Cloudera manager b)Tar ball c)Yum d)Rpm 判断题： 13. Ganglia 不仅可以进行监控，也可以进行告警。（） 14. Block Size 是不可以修改的。（） 15. Nagios 不可以监控Hadoop 集群，因为它不提供Hadoop 支持。（） 16. 如果NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。（） 17. Cloudera CDH 是需要付费使用的。（） 18. Hadoop 是Java 开发的，所以MapReduce 只支持Java 语言编写。（） 19. Hadoop 支持数据的随机读写。（） 20. NameNode 负责管理metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入metadata 信息并反馈client 端。（） 21. NameNode 本地磁盘保存了Block 的位置信息。（） 22. DataNode 通过长连接与NameNode 保持通信。（） 23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。（） 24. Slave 节点要存储数据，所以它的磁盘越大越好。（） 25. hadoop dfsadmin –report 命令用于检测HDFS 损坏块。（） 26. Hadoop 默认调度器策略为FIFO（） 27. 集群内每个节点都应该配RAID，这样避免单磁盘损坏，影响整个节点运行。（） 28. 因为HDFS 有多个副本，所以NameNode 是不存在单点问题的。（） 29. 每个map 槽就是一个线程。（） 30. Mapreduce 的input split 就是一个block。（） 31. NameNode 的Web UI 端口是50030，它通过jetty 启动的Web 服务。（） 32. Hadoop 环境变量中的HADOOP_HEAPSIZE 用于设置所有Hadoop 守护线程的内存。它默认是200 GB。（） 33. DataNode 首次加入cluster 的时候，如果log 中报告不兼容文件版本，那需要NameNode执行“Hadoop namenode -format”操作格式化磁盘。（） 【编辑推荐】 没有数据分析大数据什么也不是...... 大数据告诉你，真正的白富美的生活是怎样的呢？
第一章大数据概述 1.互联网的发展分为______个阶段。 A．一 B.三 C.二 D.四 2.下列不属于大数据特点的是（）。 A.种类和来源多样化 B.数据量巨大 C.分析处理速度快 D.价值密度高 3.互联网发展的第_____个时代为智能互联网。 A.3.0 B.4.0 C.1.0 D.2.0 4.关于大数据叙述不正确的一项是（）。 A.大数据=“海量数据”+“复杂类型的数据” B.大数据是指在一定时间对内容抓取、管理和处理的数据集合 C.大数据可以及时有效的分析海量的数据 D.数据包括结构化数据、半结构化数据、结构化数据。 5.下列数据换算正确的一项为（）。 A.1YB=1024EB B.1TB=1024MB C.1PB==1024EB D.1024ZB=1EB 6.结构化数据的表现形式为______。 A.文本 B.视图 C.二维表 D.查询 7.结构化的数据，先有________,再有_________. A.数据结构 B.结构数据 C.内容结构 D.结构内容 8.结构化的数据，先有________,再有_________. A.数据结构 B.结构数据 C.内容结构 D.结构内容 9.软件是大数据的_________。 A.核心 B.部件 C.引擎 D.集合 10.大数据技术不包括( )。 A.数据计算 B.数据存储 C.数据冗余 D.数据采集 11.大数据的特点不包括（）。 A.数量大 B.类型少 C.速度快 D.价值高 第二章Hadoop简介 1.下列对云栈架构层数不正确的一项为________。 A.三层云栈架构 B.四层云栈架构 C.五层云栈架构 D.六层云栈架构 2.下列______不是云计算三层架构的概括。
1.以下哪一项不属于H a d o o p可以运行的模式___C___。 A. 单机（本地）模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 2. Hadoop的作者是下面哪一位__B____。 A. Martin Fowler B. Doug cutting C. Kent Beck D. Grace Hopper 3. 下列哪个程序通常与 NameNode 在同一个节点启动__D___。 A. TaskTracker B. DataNode C. SecondaryNameNode D. Jobtracker 4. HDFS 默认 Block Size的大小是___B___。 5. 下列哪项通常是集群的最主要瓶颈____C__。 A. CPU B. 网络 C. 磁盘IO D. 内存 6. 下列关于MapReduce说法不正确的是_____C_。 A. MapReduce是一种计算框架 B. MapReduce来源于google的学术论文 C. MapReduce程序只能用java语言编写 D. MapReduce隐藏了并行计算的细节，方便使用 8. HDFS是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是 __D____。 A．一次写入，少次读 B．多次写入，少次读 C．多次写入，多次读 D．一次写入，多次读 9. HBase依靠__A____存储底层数据。 A. HDFS B. Hadoop C. Memory D. MapReduce 10. HBase依赖___D___提供强大的计算能力。 A. Zookeeper
3.6 误） 3.7Hadoop支持数据的随机读写。（错） (8) NameNode负责管理metadata，client端每次读写请求，它都会从磁盘中3.8 读取或则会写入metadata信息并反馈client端。（错误） (8) NameNode本地磁盘保存了Block的位置信息。（个人认为正确，欢迎提出其它意见） (9) 3.9 3.10 3.11DataNode通过长连接与NameNode保持通信。（有分歧） (9) Hadoop自身具有严格的权限管理和安全措施保障集群正常运行。（错误）9 3.12 3.13 3.14Slave节点要存储数据，所以它的磁盘越大越好。（错误） (9) hadoop dfsadmin–report命令用于检测HDFS损坏块。（错误） (9) Hadoop默认调度器策略为FIFO（正确） (9) 100道常见Hadoop面试题及答案解析 目录 1单选题 (5) 1.1 1.2 1.3 1.4 1.5 1.6 1.7下面哪个程序负责HDFS数据存储。 (5) HDfS中的block默认保存几份？ (5) 下列哪个程序通常与NameNode在一个节点启动？ (5) Hadoop作者 (6) HDFS默认Block Size (6) 下列哪项通常是集群的最主要瓶颈： (6) 关于SecondaryNameNode哪项是正确的？ (6) 2 3多选题 (7) 2.1 2.2 2.3 2.4 2.5 下列哪项可以作为集群的管理？ (7) 配置机架感知的下面哪项正确： (7) Client端上传文件的时候下列哪项正确？ (7) 下列哪个是Hadoop运行的模式： (7) Cloudera提供哪几种安装CDH的方法？ (7) 判断题 (8) 3.1 3.2 3.3 Ganglia不仅可以进行监控，也可以进行告警。（正确） (8) Block Size是不可以修改的。（错误） (8) Nagios不可以监控Hadoop集群，因为它不提供Hadoop支持。（错误） 8 3.4如果NameNode意外终止，SecondaryNameNode会接替它使集群继续工作。（错误） (8) 3.5Cloudera CDH是需要付费使用的。（错误） (8) Hadoop是Java开发的，所以MapReduce只支持Java语言编写。（错 8
Hadoop 练习题姓名：分数： 单项选择题 1.下面哪个程序负责HDFS数据存储。 a)NameNode b)Jobtracker c)Datanode √ d)secondaryNameNode e)tasktracker 2.HDfS中的block默认保存几份？ a)3份√ b)2份 c)1份 d)不确定 3.下列哪个程序通常与NameNode在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker√ 4.Hadoop作者 a)Martin Fowler b)Kent Beck c)Doug cutting√ 5.HDFS默认Block Size a)32MB b)64MB√ c)128MB 6.下列哪项通常是集群的最主要的性能瓶颈 a)CPU b)网络 c)磁盘√ d)内存
7.关于SecondaryNameNode哪项是正确的？ a)它是NameNode的热备 b)它对内存没有要求 c)它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间√ d)SecondaryNameNode应与NameNode部署到一个节点 8.一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？ a) 1 b)2√ c) 3 d) 4 9.HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce 任务读取该文件时input split大小为？ a)64MB b)75MB√ c)一个map读取64MB，另外一个map读取11MB 10.HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。当运 行mapreduce任务读取该文件时input split大小为？ a)64MB b)75MB c)一个map读取64MB，另外一个map读取11MB√ 多选题： 11.下列哪项可以作为集群的管理工具 a)Puppet√ b)Pdsh√ c)Cloudera Manager√ d)Rsync + ssh + scp√ 12.配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写√ b)写入数据的时候会写到不同机架的DataNode中√ c)MapReduce会根据机架获取离自己比较近的网络数据√ 13.Client端上传文件的时候下列哪项正确 a)数据经过NameNode传递给DataNode b)Client端将文件以Block为单位，管道方式依次传到DataNode√ c)Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作 d)当某个DataNode失败，客户端会继续传给其它DataNode √
1.Hadoop集群可以运行的3个模式分别是什么, 都有哪些注意点？ ?单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。 ?伪分布式模式：也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点 (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)，伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。 ?全分布式模式：全分布模式通常被用于生产环境，使用N台主机组成一个Hadoop集群，Hadoop守护进程运行在每台主机之上。这里会存在Namenode 运行的主机，Datanode运行的主机，以及task tracker运行的主机。 在分布式环境下，主节点和从节点会分开。 2. VM是否可以称为Pseudo？ 不是，两个事物，同时Pseudo只针对Hadoop。 3. 当Job Tracker宕掉时，Namenode会发生什么？ 当Job Tracker失败时，集群仍然可以正常工作，只要Namenode没问题。 4. 是客户端还是Namenode决定输入的分片？ 这并不是客户端决定的，在配置文件中以及决定分片细则。 5. 是否可以在Windows上运行Hadoop？ 可以，但是最好不要这么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。 6. Hadoop是否遵循UNIX模式？ 是的，在UNIX用例下，Hadoop还拥有“conf”目录。 7. Hadoop安装在什么目录下？ Cloudera和Apache使用相同的目录结构，Hadoop被安装在 cd/usr/lib/hadoop-0.20/。 8. Namenode、Job tracker和task tracker的端口号是？ Namenode，70；Job tracker，30；Task tracker，60。
Hadoop就业面试宝典 1.0简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤， 列出具体步骤更好。 答：1使用root账户登录 2 修改IP 3 修改host主机名 4 配置SSH免密码登录 5 关闭防火墙 6 安装JDK 7 解压hadoop安装包 8 配置hadoop的核心文件hadoop-env.sh，core-site.xml , mapred-site.xml ，hdfs-site.xml 9 配置hadoop环境变量 10 格式化hadoop namenode-format 11 启动节点start-all.sh 2.0 请；列出正常的hadoop集群中hadoop都分别需要启动哪些进程，他们的作用分别都是什么，请尽量列的详细一些。 答：namenode：管理集群，存储数据的原信息，并管理记录datanode中的文件信息。 Secondname:可以做冷备，对一定范围内数据做快照性备份。 Datanode:存储数据 Jobtracker :管理任务，并将任务分配给tasktracker。 Tasktracker: 执行JobTracker分配的任务。 3.0请写出以下的shell命令 （1）杀死一个job （2）删除hdfs上的/tmp/aaa目录 （3）加入一个新的存储节点和删除一个节点需要执行的命令 答：（1）hadoop job –list 得到job的id，然后执行hadoop job -kill jobId就可以杀死一个指定jobId的job工作了。 （2）hadoop fs -rmr /tmp/aaa (3) 增加一个新的节点在新的几点上执行 Hadoop daemon.sh start datanode Hadooop daemon.sh start tasktracker 然后在主节点中执行hadoop dfsadmin -refreshnodes 删除一个节点的时候，只需要在主节点执行hadoop mradmin -refreshnodes 4.0请列出你所知道的hadoop调度器，并简要说明其工作方法 答：Fifo schedular :默认，先进先出的原则 Capacity schedular :计算能力调度器，选择占用最小、优先级高的先执行，依此类推。 Fair schedular:公平调度，所有的job 具有相同的资源。
1.以下哪一项不属于Hadoop 可以运行的模式___C___。 A.单机（本地）模式 B.伪分布式模式 C.互联模式 D.分布式模式 2.Hadoop 的作者是下面哪一位__B ___ 。 A.Martin Fowler B.Doug cutting C.Kent Beck D.Grace Hopper 3.下列哪个程序通常与NameNode 在同一个节点启动__D___。 A.TaskTracker B.DataNode C.SecondaryNameNode D.Jobtracker 4.HDFS 默认Block Size 的大小是___B___。 A.32MB B.64MB C.128MB D.256M 5.下列哪项通常是集群的最主要瓶颈__ C__。 A.CPU B.网络 C.磁盘IO D.内存 6.下列关于MapReduce 说法不正确的是___ C_。 A.MapReduce 是一种计算框架 B.MapReduce 来源于google 的学术论文 C.MapReduce 程序只能用java 语言编写 D.MapReduce 隐藏了并行计算的细节，方便使用 8. HDFS 是基于流数据模式访问和处理超大文件的需求而开发的，具有高容错、高可靠性、高可扩展性、高吞吐率等特征，适合的读写任务是__D 。 A．一次写入，少次读 B．多次写入，少次读
C．多次写入，多次读 D．一次写入，多次读 7.HBase 依靠__A ___ 存储底层数据。 A.HDFS B.Hadoop C.Memory D.MapReduce 8.HBase 依赖___D___提供强大的计算能力。 A.Zookeeper B.Chubby C.RPC D.MapReduce 9.HBase 依赖___A___提供消息通信机制 A.Zookeeper B.Chubby C.RPC D.Socket 10.下面与HDFS 类似的框架是___C___ ？ A.NTFS B.FAT32 C.GFS D.EXT3 11.关于SecondaryNameNode 下面哪项是正确的___C___。 A.它是NameNode 的热备 B.它对内存没有要求 C.它的目的是帮助NameNode 合并编辑日志，减少NameNode 启动时间 D.SecondaryNameNode 应与NameNode 部署到一个节点 12.大数据的特点不包括下面哪一项___D___。 A.巨大的数据量 B.多结构化数据 C.增长速度快 D.价值密度高
hadoop面试题总结1 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode a)3 份 b)2 份c)1 份d)不确定 答案A默认3分 a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析： hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个 SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)NameNode运行在不同的机器上。 JobTracker和TaskTracker JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这
么几条执行线索：jobclient，JobTracker与TaskTracker。 并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask) 并将它们分发到各个TaskTracker服务中去执行 并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。 TaskTracker都需要运行在HDFS的DataNode上 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting a)32MB b)64MB c)128MB 答案：B (因为版本更换较快，这里答案只供参考) a)CPU b)网络 c)磁盘IO d)内存 答案：C磁盘 处理能力强 2.内存够大 所以集群的瓶颈不可能是a和d 3.网络是一种稀缺资源，但是并不是瓶颈。 4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。 同样可以参考下面内容(磁盘IO：磁盘输出输出)