当前位置：文档之家 › 在三台虚拟机上部署多节点Hadoop

在三台虚拟机上部署多节点Hadoop

  • 格式：doc
  • 大小：119.50 KB
  • 文档页数：14

cd /etc/networkvi interfaces进入vi后，编辑auto eth0iface eth0 inet staticaddress IP地址netmask 掩码gateway 网关重启SSH：serivce ssh restart重启网卡:/etc/init.d/networking restart取得root权限：sudo passwdsu1.硬件环境共有3台机器，均使用的linux系统，Java使用的是openjdk-6-jdk sudo apt-get updatesudo apt-get install openjdk-6-jdk修改主机名：suvi /etc/hostnameIP配置如下：hadoop1：192.168.75.132(NameNode)hadoop2：192.168.75.131(DataNode)hadoop3：192.168.75.133 (DataNode)这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。

一个很简单的测试办法就是ping一下主机名，比如在hadoop1上ping hadoop2，如果能ping通就OK！若不能正确解析，可以修改/etc/h osts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。

以本文为例，hadoop1(NameNode)中的/etc/hosts文件看起来应该是这样的：vi /etc/hosts127.0.0.1hadoop1localhost192.168.75.132hadoop1hadoop1192.168.75.131hadoop2hadoop2192.168.75.133hadoop3hadoop3hadoop2(DataNode)中的/etc/hosts文件看起来就应该是这样的：127.0.0.1hadoop2localhost192.168.75.132hadoop1hadoop1192.168.75.131hadoop2hadoop2hadoop3(DataNode)中的/etc/hosts文件看起来就应该是这样的：127.0.0.1hadoop3localhost192.168.75.132hadoop1hadoop1192.168.75.133hadoop3hadoop3对于Hadoop来说，在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktr acker可以是很多。

我是将namenode和jobtracker部署在hadoop1上，h adoop2, hadoop3作为datanode和tasktracker。

当然你也可以将namen ode，datanode，jobtracker，tasktracker全部部署在一台机器上。

2.目录结构由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。

addgroup hadoopadduser --ingroup hadoop hadoop三台机器上是这样的：都有一个hadoop的帐户，主目录是/home/hado op。

下载hadoop：wget /apache/hadoop/core/stable/hadoop-0.20.203.0rc1.tar.gz解压：[hadoop@ hadoop1:~]$tar -zxvf hadoop-0.21.0.tar.gz Hadoop部署目录结构如下：/home/hadoop/hadoop0.21.0，所有的h adoop版本放在这个目录中。

将hadoop0.21.0压缩包解压至hadoop0.21.0中，为了方便以后升级，建议建立一个链接指向要使用的hadoop版本，不妨设为hadoop，[hadoop@ hadoop1:~]$ln -s hadoop-0.21.0 hadoop这样一来，所有的配置文件都在/home/hadoop/hadoop/conf/目录中，所有执行程序都在/home/hadoop/hadoop/bin目录中。

但是由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级h adoop版本的时候所有的配置文件都会被覆盖，因此建议将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，/home/hadoo p/hadoop/hadoop-config，然后将/home/hadoop/hadoop/conf/目录中的masters，slaves，hadoop-env.sh三个文件拷贝到hadoop-config目录中，并指定环境变量$HADOOP_CONF_DIR指向该目录。

环境变量在/home/had oop/.bashrc和/etc/profile中设定。

如：HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-configexport HADOOP_CONF_DIR即：cd /home/hadoop/hadoopmkdir hadoop-configcp conf/masters hadoop-config/cp conf/slaves hadoop-config/cp conf/hadoop-env.sh hadoop-config/sudo vi /etc/profileHADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-configexport HADOOP_CONF_DIRvi /home/hadoop/.bashrcHADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-configexport HADOOP_CONF_DIR综上所述，为了方便以后升级版本，我们需要做到配置文件与安装目录分离，并通过设定一个指向我们要使用的版本的hadoop的链接，这样可以减少我们对配置文件的维护。

3.SSH设置在Hadoop启动以后，Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的，这就需要在节点之间执行指令的时候是不需要输入密码的方式，故我们需要配置SSH使用无密码公钥认证的方式。

首先要保证每台机器上都装了SSH服务器，且都正常启动。

实际中我们用的都是OpenSSH，这是SSH协议的一个免费开源实现。

apt-get install ssh以本文中的3台机器为例，现在hadoop1是主节点，它需要主动发起SS H连接到hadoop2，对于SSH服务来说，hadoop1就是SSH客户端，而h adoop2, hadoop3则是SSH服务端，因此在hadoop2，hadoop3上需要确定sshd服务已经启动。

简单的说，在hadoop1上需要生成一个密钥对，即一个私钥，一个公钥。

将公钥拷贝到hadoop2上，这样，比如当hadoop1向h adoop2发起ssh连接的时候，hadoop2上就会生成一个随机数并用hadoop 1的公钥对这个随机数进行加密，并发送给hadoop1，hadoop1收到这个加密的数以后用私钥进行解密，并将解密后的数发送回hadoop2，hadoop2确认解密的数无误后就允许hadoop1进行连接了。

这就完成了一次公钥认证过程。

对于本文中的3台机器，首先在hadoop1上生成密钥对：[hapoop@hadoop1:~]$ssh-keygen -t dsa –P ‘’–f ~/.ssh/i d_dsa这个命令将为hadoop1上的用户hadoop生成其密钥对。

生成的密钥对i d_rsa，id_rsa.pub，在/home/hadoop/.ssh目录下。

[hapoop@hadoop1:.ssh]$cat ~/.ssh/id_dsa.pub >> ~/.ssh/aut horized_keys然后将id_rsa.pub的内容复制/home/hadoop/.ssh/authorized_keys 文件中。

对于hadoop2：[hapoop @ hadoop2:~]$mkdir .ssh对于hadoop3：[hapoop @ hadoop3:~]$mkdir .ssh[hapoop @ hapoop1:.ssh]$scp authorized_keys hapoop2:/ho me/hapoop/.ssh/[hapoop @ hapoop1:.ssh]$scp authorized_keys hapoop3:/ho me/hapoop/.ssh/此处的scp就是通过ssh进行远程copy，此处需要输入远程主机的密码，即hadoop2，hadoop3机器上hadoop帐户的密码，当然，你也可以用其他方法将authorized_keys文件拷贝到其他机器上。

[hadoop@hadoop2:.ssh]$chmod 640 authorized_keys[hadoop@hadoop3:.ssh]$chmod 640 authorized_keys这一步非常关键，必须保证authorized_keys只对其所有者有读写权限，其他人不允许有写的权限，否则SSH是不会工作的。

[hadoop@ hadoop2:.ssh] $ls -ladrwx------ 2 hadoop hadoop.drwx------ 3 hadoop hadoop..-rw-r--r-- 1 hadoop hadoop authorized_keys注意每个机器上的.ssh目录的ls -la都应该和上面是一样的接着，在3台机器上都需要对sshd服务进行配置，修改文件/etc/ssh/sshd_ config。

vi /etc/ssh/sshd_config#去除密码认证PasswordAuthentication no (?如果这样，putty就不能登陆Linu x了,去掉)AuthorizedKeysFile .ssh/authorized_keys至此各个机器上的SSH配置已经完成，可以测试一下了，比如hadoop1向hadoop2发起ssh连接。

[hadoop@hadoop1:~]$ssh hadoop2如果ssh配置好了，就会出现以下提示信息The authenticity of host [hadoop2] can't be established.Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98: 9c:fe:e9:52.Are you sure you want to continue connecting (yes/no)?OpenSSH告诉你它不知道这台主机，但是你不用担心这个问题，因为你是第一次登录这台主机。

合集下载

基于参数优化的Hadoop云计算平台_李寒

基于参数优化的Hadoop云计算平台_李寒

[4] [3]
2
云计算技术
数据存储和分析率, 是判断服务优劣程度的重
要指标. 多年来, IT 界内存容量和磁盘容量大幅增加, 然而数据存储和数据分析的效率却未能满足企业的要 求. 将云计算产品 Hadoop 应用于数据的存储、分析, 能提高数据存储和分析的效率. 传统的数据存储、分 析, 将一张表存储在一台机器上, 一条 SELECT 语句 被一台机器执行, 影响效率的关键因素是单机的性能. HDFS 将一个大文件分块存储在集群的各个节点上 , 完成数据存储的分解; map/reduce 将一个数据分析任 务下发到各个节点上 , 完成任务的分解 . 各个节点并 行的进行数据存储和分析, 最终通过归约各个节点的 结果完成任务. Hadoop 系统强大的数据处理能力, 鲜 明的云计算的特征 , 已经被业界广泛的接受 , 并被应 用于生产. 2.1 HDFS 的数据存储 数据文件有效记录 1221215 条, 大小为 457MB, 每一行是数据库的一条记录, 将数据备份至 HDFS 文 件系统. 图 2 从 Web 端展示了 HDFS 文件系统, 它类 似于 Unix 文件系统, 有访问控制、属主、属组等.
HDFS 保留了传统文件系统特征的同时, 也有海量
1
Hadoop系统介绍
Hadoop 由两个核心构件组成, Hadoop 分布式文件系
数据存储、高性价比、可靠性、可扩展性等云计算领域 的特征. HDFS 集群是由一个名字节点(NameNode)和多 个数据节点(DataNode)构成. 一个大数据文件被分成多 个块, 这些块存储在 DataNode 中, 由 NameNode 确定每
存储和分析, 提高了数据存储和分析的效率. 在总结传统系统利弊的基础上, 以 Hadoop 分布式文件系统(HDFS) 取代现有的单机数据存储 , 以 map/reduce 应用程序取代传统的单机数据分析 , 并对其做出优化 . 实验证明 , Hadoop 系统架构在生产上部署、投入使用的可行性. 关键词: 云计算; Hadoop; 数据分析; map/reduce
hadoop核心组件概述及hadoop集群的搭建

hadoop核心组件概述及hadoop集群的搭建

hadoop核⼼组件概述及hadoop集群的搭建什么是hadoop？ Hadoop 是 Apache 旗下的⼀个⽤ java 语⾔实现开源软件框架，是⼀个开发和运⾏处理⼤规模数据的软件平台。

允许使⽤简单的编程模型在⼤量计算机集群上对⼤型数据集进⾏分布式处理。

hadoop提供的功能：利⽤服务器集群，根据⽤户的⾃定义业务逻辑，对海量数据进⾏分布式处理。

狭义上来说hadoop 指 Apache 这款开源框架，它的核⼼组件有：1. hdfs（分布式⽂件系统）（负责⽂件读写）2. yarn（运算资源调度系统）(负责为MapReduce程序分配运算硬件资源)3. MapReduce（分布式运算编程框架）扩展：关于hdfs集群： hdfs集群有⼀个name node(名称节点)，类似zookeeper的leader(领导者)，namenode记录了⽤户上传的⼀些⽂件分别在哪些DataNode上，记录了⽂件的源信息(就是记录了⽂件的名称和实际对应的物理地址)，name node有⼀个公共端⼝默认是9000，这个端⼝是针对客户端访问的时候的，其他的⼩弟(跟随者)叫data node，namenode和datanode会通过rpc进⾏远程通讯。

Yarn集群： yarn集群⾥的⼩弟叫做node manager，MapReduce程序发给node manager来启动，MapReduce读数据的时候去找hdfs(datanode)去读。

(注：hdfs集群和yarn集群最好放在同⼀台机器⾥)，yarn集群的⽼⼤主节点resource manager负责资源调度，应(最好)单独放在⼀台机器。

⼴义上来说，hadoop通常指更⼴泛的概念--------hadoop⽣态圈。

当下的 Hadoop 已经成长为⼀个庞⼤的体系，随着⽣态系统的成长，新出现的项⽬越来越多，其中不乏⼀些⾮ Apache 主管的项⽬，这些项⽬对 HADOOP 是很好的补充或者更⾼层的抽象。

hadoop集群搭建实训报告

hadoop集群搭建实训报告

实训项目名称：搭建Hadoop集群项目目标：通过实际操作，学生将能够搭建一个基本的Hadoop集群，理解分布式计算的概念和Hadoop生态系统的基本组件。

项目步骤：1. 准备工作介绍Hadoop和分布式计算的基本概念。

确保学生已经安装了虚拟机或者物理机器，并了解基本的Linux命令。

下载Hadoop二进制文件和相关依赖。

2. 单节点Hadoop安装在一台机器上安装Hadoop，并配置单节点伪分布式模式。

创建Hadoop用户，设置环境变量，编辑Hadoop配置文件。

启动Hadoop服务，检查运行状态。

3. Hadoop集群搭建选择另外两台或更多机器作为集群节点，确保网络互通。

在每个节点上安装Hadoop，并配置集群节点。

编辑Hadoop配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml等。

配置SSH无密码登录，以便节点之间能够相互通信。

4. Hadoop集群启动启动Hadoop集群的各个组件，包括NameNode、DataNode、ResourceManager、NodeManager 等。

检查集群状态，确保所有节点都正常运行。

5. Hadoop分布式文件系统（HDFS）操作使用Hadoop命令行工具上传、下载、删除文件。

查看HDFS文件系统状态和报告。

理解HDFS的数据分布和容错机制。

6. Hadoop MapReduce任务运行编写一个简单的MapReduce程序，用于分析示例数据集。

提交MapReduce作业，观察作业的执行过程和结果。

了解MapReduce的工作原理和任务分配。

7. 数据备份和故障恢复模拟某一节点的故障，观察Hadoop集群如何自动进行数据备份和故障恢复。

8. 性能调优（可选）介绍Hadoop性能调优的基本概念，如调整副本数、调整块大小等。

尝试调整一些性能参数，观察性能改善情况。

9. 报告撰写撰写实训报告，包括项目的目标、步骤、问题解决方法、实验结果和总结。

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04

在linux中安装Hadoop教程-伪分布式配置-Hadoop2.6.0-Ubuntu14.04注：该教程转⾃厦门⼤学⼤数据课程学习总结装好了 Ubuntu 系统之后，在安装 Hadoop 前还需要做⼀些必备⼯作。

创建hadoop⽤户如果你安装 Ubuntu 的时候不是⽤的 “hadoop” ⽤户，那么需要增加⼀个名为 hadoop 的⽤户。

⾸先按 ctrl+alt+t 打开终端窗⼝，输⼊如下命令创建新⽤户 : sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop ⽤户，并使⽤ /bin/bash 作为 shell。

sudo命令 本⽂中会⼤量使⽤到sudo命令。

sudo是ubuntu中⼀种权限管理机制，管理员可以授权给⼀些普通⽤户去执⾏⼀些需要root权限执⾏的操作。

当使⽤sudo命令时，就需要输⼊您当前⽤户的密码.密码 在Linux的终端中输⼊密码，终端是不会显⽰任何你当前输⼊的密码，也不会提⽰你已经输⼊了多少字符密码。

⽽在windows系统中,输⼊密码⼀般都会以“*”表⽰你输⼊的密码字符 接着使⽤如下命令设置密码，可简单设置为 hadoop，按提⽰输⼊两次密码： sudo passwd hadoop可为 hadoop ⽤户增加管理员权限，⽅便部署，避免⼀些对新⼿来说⽐较棘⼿的权限问题： sudo adduser hadoop sudo最后注销当前⽤户（点击屏幕右上⾓的齿轮，选择注销），返回登陆界⾯。

在登陆界⾯中选择刚创建的 hadoop ⽤户进⾏登陆。

更新apt⽤ hadoop ⽤户登录后，我们先更新⼀下 apt，后续我们使⽤ apt 安装软件，如果没更新可能有⼀些软件安装不了。

按 ctrl+alt+t 打开终端窗⼝，执⾏如下命令： sudo apt-get update后续需要更改⼀些配置⽂件，我⽐较喜欢⽤的是 vim（vi增强版，基本⽤法相同） sudo apt-get install vim安装SSH、配置SSH⽆密码登陆集群、单节点模式都需要⽤到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上⾯运⾏命令），Ubuntu 默认已安装了SSH client，此外还需要安装 SSH server： sudo apt-get install openssh-server安装后，配置SSH⽆密码登陆利⽤ ssh-keygen ⽣成密钥，并将密钥加⼊到授权中： exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若没有该⽬录，请先执⾏⼀次ssh localhost ssh-keygen -t rsa # 会有提⽰，都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加⼊授权此时再⽤ssh localhost命令，⽆需输⼊密码就可以直接登陆了。