hadoop安装指南(非常详细,包成功)

  • 格式:docx
  • 大小:348.56 KB
  • 文档页数:16

下载文档原格式

  / 16
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

3.10.2.进程

➢Jps

Master节点:namenode/tasktracker

(如果Master不兼做Slave, 不会出现datanode/Tasktracker

Slave节点:datanode/Tasktracker

说明:

JobTracker 对应于NameNode

TaskTracker 对应于DataNode

DataNode 和NameNode 是针对数据存放来而言的

JobTracker和TaskTracker是对于MapReduce执行而言的

mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:

jobclient,JobTracker与TaskTracker。

1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件

存储到hdfs,并把路径提交到Jobtracker,然后由JobTracker创建每个Task(即

MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中去执行

2、JobTracker是一个master服务,软件启动之后JobTracker接收Job,负责

调度Job的每一个子任务task运行于TaskTracker上,并监控它们,如果发现

有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。

3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与

JobTracker通信,接收作业,并负责直接执行每一个任务。TaskTracker都需

要运行在HDFS的DataNode上

3.10.3.文件系统HDFS

⏹查看文件系统根目录:

Hadoop fs–ls /