Temp 01 安装JAVA
进入终端的命令是Ctrl + Alt + T
以下hadoop-machine与h1是同一用户名，不影响安装
1.打开终端，建立新目录“/usr/lib/java”，如下图所示
输入密码回车。。
2.把下载的JDK 文件移到刚刚创建的“/usr/lib/java”中，如下图所示
1.解压jdk
解压完成后ll查看文件如图
2.修改环境变量
1）安装vim 工具
Y继续
2）修改环境变量
按一下键盘上的i 键进入插入状态
在文档最下边输入
Ps：不同路径之间用“：“分割不是“；“按Esc 键输入：wq 回车
执行以下命令是配置文件的修改生效：
查看java版本：检查环境变量是否配置成功
至此JAVA 安装完毕。
Temp 02安装ssh 并配置SSH免密码登陆02.01 安装SSH
ssh配置
注意主机与节点用户名要相同，否则不能免密码登陆，切记
以下用户名hadoop与grid我们认为是同一用户名，对安装无影响，只要你自己的主机用户名与节点用户名相同就可以
每个节点作相同操作
一路回车直到。。。
然后：：
分发ssh公钥
把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中，然后就可以免密码彼此ssh连入
重启各节点及主机
测试免密码登陆是否成功
无需输入密码登陆SSH 成功~
Exit 退出
Temp 03 安装hadoop 解压hadoop 并移动到/usr/local/hadoop 中
修改hadoop文件夹所有者~
在hadoop-env.sh 配置Java 安装信息.
进入/usr/local/hadoop/conf
打开hadoop-env.sh：
在大概第10行的位置加入以下信息（在最后加应该也好使）
保存退出
使配置生效
创建tmp文件夹
配置core-site.xml
保存并退出
配置hdfs-site.Xml
此处3为节点数,,根据实际情况自行修改配置mapred-site.xml
配置主节点Namenode
配置datanode
配置hadoop的环境变量
重命名机器
第一台做namenode节点
保存关闭
关闭系统
保存退出（系统为重启之前，主机名修改无效）Temp 04修改各节点IP
可以查看到我的IP是
编辑链接信息
点击编辑选择IPV4
以上信息除了地址修改外其他和刚开始查看到的信息一致保存
同理修改hadoopdata1 为192.168.233.102修改hadoopdata1 为192.168.233.103 在hadoopnamenode里配置主机信息
保存退出
同样修改hadoopdata1 和hadoopdata2 的hosts
可以只写本身节点和namenode节点的IP，
例如hadoopdata1的修改为下图
Hadoopdata2的修改为下图
将所有节点重启
让SSH 发现所有节点
Yes 继续
登陆成功
退出
然后对hadoopnamenode，hadoopdata2 做同样的操作向各节点复制hadoop
.......
接下来进行hadoop 的namenode 格式化：
启动hadoop服务
此时hadoopnamenode使用jps 查看后台进程：
Hadoopdata1 使用jps 查看后台进程：
如果节点jps没有datanode，可把节点hadoop下data文件夹删除重启服务即可。关闭hadoop（在hadoopnamenode操作）
Temp 05 Eclipse集成开发05.01 安装Eclipse
找到下载好的安装包，解压
移动文件夹
到文件夹/usr/local/eclipse下启动eclipse 会出现如下错误
安装 2011年4月4日 10:13 Hadoop-0.20.2安装使用 1、Cygwin 安装 ssh 2、按照以下的文档配置ssh 在Windows上安装Ha doop教程.pdf 3、几个配置文件的配置 3.1、conf/core-site.xml
h a d o o p 2.6.0详细安装过程和实例(有截 图)
Hadoop 环境搭建 时间：2015-07-26 作者：周乐相 环境搭建之前准备工作 我的笔记本配置： 硬盘：500G (实际上用不完) CPU： Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz 内存： 10G 操作系统：WIN7 (64位) 软件准备 1). 虚拟机软件： vmwareworkstation64.exe ( VMware work station 64 bit V 11.0) 2). Linux 版本： Red Hat Enterprise Linux Server release 6.5 (Santiago) （rhel-server-6.5-x86_64-dvd.iso） 3). hadoop 版本： hadoop-2.6.0.tar.gz 4). JAVA 版本：java version "1.6.0_32" （jdk-6u32-linux-x64.bin） 安装VMware 软件 傻瓜操作下一步。。。。。。 安装Linux操作系统 傻瓜操作下一步。。。。。 安装完成。 1). 创建hadoop操作系统安装hadoop的用户第一台操作系统命主机名为: master
2) 拷贝该虚拟机master 分别为 node01 、node02 两个节点数 3) 分别对拷贝的node01 、node02 修改IP和主机名称 主机名: IP master : 192.168.2.50 node01: 192.168.2.51 node02: 192.168.2.52 jdk安装 并设置好环境变量 ## 设置JAVA_HOME环境变量
1、VMware安装 我们使用Vmware 14的版本，傻瓜式安装即可。（只要） 双击 如过 2.安装xshell 双击 3.安装镜像： 解压centos6.5-empty解压 双击打开CentOS6.5.vmx 如果打不开，在cmd窗口中输入：netsh winsock reset 然后重启电脑。 进入登录界面，点击other 用户名：root 密码：root 然后右键open in terminal 输入ifconfig 回车 查看ip地址
打开xshell
点击链接 如果有提示，则接受 输入用户名：root 输入密码：root 4.xshell连接虚拟机 打开虚拟机，通过ifconfig查看ip
5.安装jkd 1.解压Linux版本的JDK压缩包 mkdir：创建目录的命令 rm -rf 目录/文件删除目录命令 cd 目录进入指定目录 rz 可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口） ls 可以查看当前目录中的所有文件 tar 解压压缩包（Tab键可以自动补齐文件名）
pwd 可以查看当前路径 文档编辑命令: vim 文件编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态 :wq 保存并退出 :q! 不保存退出 mkdir /home/software #按习惯用户自己安装的软件存放到/home/software目录下 cd /home/software #进入刚刚创建的目录 rz 上传jdk tar包 #利用xshell的rz命令上传文件(如果rz命令不能用，先执行yum install lrzsz -y ，需要联网) tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包 2.配置环境变量 1）vim /etc/profile 2）在尾行添加 #set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc 退出编辑状态 :wq #保存退出 注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安
Hadoop平台搭建说明 1.Hadoop节点规划 本次安装规划使用三个节点，每个节点都使用centos系统。 三个节点的hostname分别规划为：centoshadoop1、centoshadoop2、centoshadoop3（此处为本教程参数，可根据实际环境情况修改） 三个节点的ip地址分别规划为：192.168.65.57、192.168.65.58、192.168.65.59（此处为本教程参数，根据实际环境情况修改） 2.平台搭建使用的软件 下载如下软件 操作系统安装包：Centos6.3_x64 Jdk安装包：jdk-6u37-linux-x64.bin Hadoop安装包：hadoop-1.1.2.tar.gz 3.安装centos操作系统 安装三个节点的操作系统，安装过程省略。 4.配置centoshadoop1节点 4.1.修改节点hostname [root@localhost ~]# vi /etc/sysconfig/network HOSTNAME=centoshadoop1 [root@localhost ~]# vi /etc/hosts …… 192.168.65.57 centoshadoop1 192.168.65.58centoshadoop2 192.168.65.59centoshadoop3 [root@localhost ~]#reboot
4.2.关闭iptables防火墙 [root@centoshadoop1~]#service iptables stop 注意每次操作系统重启后都要操作 4.3.建立无ssh密码登陆 生成签名文件 [root@centoshadoop1~]#cd /root [root@centoshadoop1~]#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa [root@centoshadoop1~]#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys [root@centoshadoop1~]# 测试本地SSH无密码登录 [root@centoshadoop1~]#sshcentoshadoop1 4.4.安装jdk 上传jdk-6u37-linux-x64.bin到/root目录下 [root@centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin [root@centoshadoop1~]#./jdk-6u37-linux-x64.bin [root@centoshadoop1~]#ll 查看生成jdk-6u37-linux-x64目录 4.5.安装hadoop软件 上传hadoop-1.1.2.tar.gz到/root目录下 [root@centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz [root@centoshadoop1~]#ll 查看生成hadoop-1.1.2目录 [root@centoshadoop1~]#vi /conf/core-site.xml
Hadoop安装简要过程及配置文件 1、机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。修改文件为： /etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 10.1.20.241 namenode 10.1.20.242 datanode1 10.1.20.243 datanode2 2、环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 3）、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop 4)、同步时间 ntpdate https://www.doczj.com/doc/4517416928.html, 5）、关闭防火墙 service iptables stop 3、安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget "https://www.doczj.com/doc/4517416928.html,/cdh5/one-click-install/redhat/ 6/x86_64/cloudera-cdh-5-0.x86_64.rpm" yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --importhttps://www.doczj.com/doc/4517416928.html,/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
Hadoop集群安装详细步骤|Hadoop安装配置 文章分类:综合技术 Hadoop集群安装 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。Jdk1.6的安装方法这里就不多介绍了。 确保以上准备工作完了之后我们就开始安装Hadoop软件，假设我们用三台机器做Hadoop集群，分别是：192.168.1.111、192.168.1.112和192.168.1.113（下文简称111，112和113），且都使用root用户。 下面是在linux平台下安装Hadoop的过程： 在所有服务器的同一路径下都进行这几步，就完成了集群Hadoop软件的安装，是不是很简单？没错安装是很简单的，下面就是比较困难的工作了。 集群配置
根据Hadoop文档的描述“The Hadoop daemons are N ameNode/DataNode and JobTracker/TaskTracker.”可以看出Hadoop核心守护程序就是由 NameNode/DataNode 和JobTracker/TaskTracker这几个角色构成。 Hadoop的DFS需要确立NameNode与DataNode角色，一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。至于NameNode/DataNode和JobTracker/TaskTracker的概念这里就不多讲了，需要了解的可以参看相关文档。 在这里我们使用111作为NameNode与JobTracker，其它两台机器作为DataNode和TaskTracker，具体的配置如下： 环境的配置 在$HADOOP_HOME/conf/hadoop-env.sh中定义了Hadoop启动时需要的环境变量设置，其中我们至少需要配置JAVA_HOME（Jdk的路径）变量；另外我们一般还需要更改HADOOP_LOG_DIR（Hadoop的日志路径）这个变量，默认的设置是“export HADOOP_LOG_DIR=${HADOOP_HOME}/logs”，一般需要将其配置到一个磁盘空间比较大的目录下。 Hadoop核心程序配置 Hadoop 包括一组默认配置文件（$HADOOP_HOME/src目录下的 core/core-default.xml, hdfs/hdfs-default.xml 和 mapred/mapred-default.xml），大家可以先好好看看并理解默认配置文件中的那些属性。虽然默认配置文件能让Hadoop核心程序顺利启动，但对于开发人员来说一般需要自己的来设置一些常规配置以满足开发和业务的需求，所以我们需要对默认配置文件的值进行覆盖，具体方法如下。 $HADOOP_HOME/conf/core-site.xml是Hadoop的核心配置文件，对应并覆盖core-default.xml中的配置项。我们一般在这个文件中增加如下配置： Core-site.xml代码 1.
CentOS6.6安装Hadoop2.7.3教程大胡子工作室
目录 1 前言 (1) 2 安装准备 (1) 2.1 所需软件 (1) 2.1.1 CentOS6.6minimal (1) 2.1.2 Hadoop 2.7.3 (1) 2.2 安装规划 (1) 3 安装步骤 (2) 3.1 安装操作系统 (2) 3.2 操作系统基本配置 (13) 3.2.1 配置IP地址 (13) 3.2.2 配置hostname及网关 (14) 3.2.3 关闭selinux (15) 3.2.4 设置limit最大连接数 (15) 3.2.5 配置DNS (16) 3.2.6 配置本地hosts (17) 3.2.7 添加hadoop用户 (17) 3.2.8 关闭防火墙 (18) 3.3 安装jdk (19) 3.4 配置ssh免密码登录 (19) 3.4.1 切换hadoop用户 (20) 3.4.2 生成免登陆ssh证书 (20) 3.4.3 追加授权 (20) 3.5 配置master计算机的hadoop (22) 3.5.1 解压缩hadoop文件 (23) 3.5.2 创建存储hadoop数据文件的目录 (23) 3.5.3 设置hadoop的环境变量 (23) 3.5.4 配置core-site.xml文件 (26) 3.5.5 配置hdfs-site.xml文件 (28) 3.5.6 配置mapred-site.xml文件 (30) 3.5.7 配置yarn-site.xml文件 (32) 3.5.8 配置slaves文件 (34) 3.5.9 格式化HDFS文件系统 (34) 3.6 配置slave计算机的hadoop (34) 3.6.1 创建hadoop文件夹 (35) 3.6.2 将文件分发给slave计算机 (35) 3.6.3 设置hadoop的环境变量 (35) 4 hadoop的控制 (36) 4.1 hadoop的启动 (36) 4.2 hadoop的关闭 (36)
1安装环境介绍1.1软件环境 1）CentOS6.5x64 2）Jdk1.7x64 3）Hadoop2.6.2x64 4）Hbase-0.98.9 5）Zookeeper-3.4.6 1.2集群环境 集群中包括3个节点：1个Master，2个Slave 2安装前的准备 2.1下载JDK 2.2下载Hadoop 2.3下载Zookeeper 2.4下载Hbase 3开始安装 3.1CentOS安装配置 1）安装3台CentOS6.5x64（使用BasicServer模式，其他使用默认配置，安装过程略） 2）Master.Hadoop配置 a) 配置网络
保存，退出（esc+:wq+enter），使配置生效 b) 配置主机名 修改为： c) 配置hosts 修改为： 修改为： 在最后增加如下内容 以上调整，需要重启系统才能生效 g) 配置用户 新建hadoop用户和组，设置hadoop用户密码
id_rsa 和id_rsa.pub ，默认存储在 "/home/hadoop/.ssh"目录下。 a) 把id_rsa.pub 追加到授权的key 里面去 b) 修改 .ssh 目录的权限以及 authorized_keys 的权限 c) 用root 用户登录服务器修改SSH 配置文件"/etc/ssh/sshd_config" 的下列内容 3） Slave1.Hadoop 、Slave1.Hadoop 配置 相同的方式配置Slave1和Slave2的IP 地址，主机名和hosts 文件，新建hadoop 用户和组及用户密码等等操作 3.2 无密码登陆配置 1） 配置Master 无密码登录所有Slave a) 使用hadoop 用户登陆Master.Hadoop b) 把公钥复制所有的Slave 机器上。使用下面的命令格式进行复制公钥 2） 配置Slave 无密码登录Master a) 使用hadoop 用户登陆Slave b) 把公钥复制Master 机器上。使用下面的命令格式进行复制公钥
Hadoop完全分布式的搭建步骤 步骤目录： 第一步：安装虚拟机 第二步：Linux的环境配置 第三步：安装jdk并配置环境变量 第四步：建立专门运行Hadoop的专有用户abc 第五步：ssh免密码登录配置 第六步：Hadoop的安装与配置 第七步：格式化hdfs和启动守护进程 详细步骤如下 第一步：安装虚拟机 第二步：Linux的环境配置 1.修改IP（桥接模式） vim /etc/sysconfig/network-scriptps/ifcfg-eth0 (推荐使用手动的方法设置) 2.修改主机名 vim /etc/sysconfig/network 3.修改主机名和IP的映射关系 vim /etc/hosts
192.168.6.115 hadoop01 192.168.6.116 hadoop02 192.168.6.117 hadoop03 4.关闭防火墙 service iptables status//查看状态 service iptables stop//关闭防火墙 chkconfig iptables --list //查看防火墙是否开机自启 chkconfig iptables off//关闭防火墙开机自启 5.重启系统 reboot 6.查看主机名：hostname 查看IP：ifconfig 查看防火墙状态：service iptables status 7.查看各个主机之间是否能通信：互相ping IP地址 第三步：安装jdk并配置环境变量 1.上传jdk到根目录 2.创建目录mkdir /usr/java 3.解压jdk tar –zxvf jdk-7u76-linux-i586.tar.gz –C /usr/java cd /usr/java ls 4.将Java添加到环境变量（使得在任何目录下均可使用Java）
1.下载并安装安装ssh sudo apt-get install openssh-server openssh-client 3.搭建vsftpd #sudo apt-get update #sudo apt-get install vsftpd 配置参考的开始、关闭和重启 $sudo /etc/vsftpd start #开始 $sudo /etc/vsftpd stop #关闭 $sudo /etc/vsftpd restart #重启 4.安装 sudo chown -R hadoop:hadoop /opt cp /soft/ /opt sudo vi /etc/profile alias untar='tar -zxvf' sudo source /etc/profile source /etc/profile untar jdk* 环境变量配置 # vi /etc/profile ●在profile文件最后加上 # set java environment export JAVA_HOME=/opt/ export CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/ export PATH=$JAVA_HOME/bin:$PATH 配置完成后，保存退出。 ●不重启，更新命令 #source /etc/profile ●测试是否安装成功 # Java –version 其他问题： 出现unable to resolve host 解决方法 参考 开机时停在Starting sendmail 不动了的解决方案 参考安装软件时出现E: Unable to locate package vsftpd 参考vi/vim 使用方法讲解 参考分类: Hadoop
Hadoop的安装 1、实现linux的ssh无密码验证配置. 2、修改linux的机器名，并配置/etc/hosts 3、在linux下安装jdk，并配好环境变量 4、在windows下载hadoop 1.0.1，并修改hadoop-env.sh，core-site.xml， hdfs-site.xml， mapred-site.xml，masters，slaves文件的配置 5、创建一个给hadoop备份的文件。 6、把hadoop的bin加入到环境变量 7、修改部分运行文件的权限 8、格式化hadoop，启动hadoop 注意：这个顺序并不是一个写死的顺序，就得按照这个来。如果你知道原理，可以打乱顺序来操作，比如1、2、3，先哪个后哪个，都没问题，但是有些步骤还是得依靠一些操作完成了才能进行，新手建议按照顺序来。
一、实现linux的ssh无密码验证配置 （1）配置理由和原理 Hadoop需要使用SSH协议，namenode将使用SSH协议启动namenode和datanode进程，(datanode向namenode传递心跳信息可能也是使用SSH协议，这是我认为的，还没有做深入了解)。大概意思是，namenode 和datanode之间发命令是靠ssh来发的，发命令肯定是在运行的时候发，发的时候肯定不希望发一次就弹出个框说：有一台机器连接我，让他连吗。所以就要求后台namenode和datanode 无障碍的进行通信。 以namenode到datanode为例子：namenode作为客户端，要实现无密码公钥认证，连接到服务端datanode上时，需要在namenode上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到datanode上。当namenode通过ssh连接datanode时，datanode就会生成一个随机数并用namenode的公钥对随机数进行加密，并发送给namenode。namenode收到加密数之后再用私钥进行解密，并将解密数回传给datanode，datanode确认解密数无误之后就允许namenode 进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端namenode公钥复制到datanode上。
hadoop 伪分布式安装方法 [日期：2014-04-30] 来源：51CTO 作者：晓晓 [字体：大 中 小] 接触Hadoop 也快两年了，也一直没自己总结过安装教程，最近又要用hadoop ，需要自己搭建一个集群来进行试验，所以就利用这个机会来写个教程以备以后自己使用，也用来和大家一起探讨。 要安装Hadoop 先安装其辅助环境 java Ubuntu 下java 的安装与配置 将java 安装在指定路径方便以后查找使用。 Java 安装 1）在/home/xx （也就是当前用户）目录下，新建java1.xx 文件夹：mkdir /home/xx/java1.xx （文件名上表明版本号，方便日后了解java 版本） 2）进入/home/xx/java1.xx 目录下，运行安装指令：sudo /home/xx /jdk-6u26-linux-i586.bin ，则生成文件夹jdk1.6.0_26，如果感觉名字太长，可以对其重命名：mv jdk1.6.0_26 jdk 也可以使用sudoapt-get install 软件包来安装java 。如果想卸载java 使用命令sudo rm -rf /home/x x/java1.6/jdk1.6（安装目录） 配置环境变量 进入profile 文件添加环境配置，命令为sudo gedit /etc/profile 在文件的末尾添加 1 2 3 4 5 6 7 JAVA_HOME=/home/xx/java1.xx/jdk JRE_HOME=/home/xx /java1.xx/jdk/jre PATH=$JAVA_HOME/bin:$JRE_HOME/bin: $PATH export JAVA_HOME export JRE_HOME export CLASSPATH export PATH 完成以上配置后重启电脑然后检验java 是否安装成功在终端输入java –version 后显示 说明java 安装成功。 Java 安装成功后接着进入正题进行Hadoop 的安装，本文先进行Hadoop 的伪分布安装随后会继续更新完全分布的安装过程。 本文使用的Hadoop 版本是hadoop-0.20.2，将hadoop-0.20.2.tar.gz 移至当前用户目录下进行解压t ar –zxvf hadoop-0.20.2.tar.gz 然后配置hadoop 的环境变量，其配置方法和java 的配置方法一样，在profile 中写入HADOOP_HOME =/home/xx/hadoop Java 和hadoop 的配好的环境变量如图
1、VMware 安装 我们使用Vmware 14的版本，傻瓜式安装即可。（只要） 双击如过 2.安装xshell 双击 3.安装镜像： 解压centos6.5-empty 解压双击打开 CentOS6.5.vmx 如果打不开，在cmd 窗口中输入：netsh winsock reset 然后重启电脑。
进入登录界面，点击other 用户名：root 密码：root 然后右键open in terminal 输入ifconfig回车 查看ip地址 xshell 打开
点击链接 如果有提示，则接受
输入用户名：root 输入密码：root 4.xshell 连接虚拟机 打开虚拟机，通过ifconfig 查看 ip 5.安装jkd
1. 解压Linux版本的JDK压缩包 mkdir：创建目录的命令 rm -rf 目录/文件删除目录命令 cd 目录进入指定目录 rz可以上传本地文件到当前的linux目录中（也可以直接将安装包拖到xshell窗口） ls可以查看当前目录中的所有文件 tar解压压缩包（Tab键可以自动补齐文件名） pwd可以查看当前路径 文档编辑命令: vim文件编辑命令 i:进入编辑状态 Esc（左上角）：退出编辑状态 :wq保存并退出 :q!不保存退出 mkdir /home/software#按习惯用户自己安装的软件存放到 /home/software目录下 cd /home/software #进入刚刚创建的目录
rz 上传jdk tar包#利用xshell的rz命令上传文件(如果rz 命令不能用，先执行yum install lrzsz -y ，需要联网) tar -xvf jdk-7u51-linux-x64.tar.gz#解压压缩包 2. 配置环境变量 1）vim /etc/profile 2）在尾行添加 #set java environment JAVA_HOME=/home/software/jdk1.8.0_65 JAVA_BIN=/home/software/jdk1.8.0_65/bin PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH Esc退出编辑状态 :wq#保存退出 注意JAVA_HOME要和自己系统中的jdk目录保持一致，如果是使用的rpm包安 装的jdk，安装完之后jdk的根目录为：/usr/java/jdk1.8.0_111，也可 以通过命令：rpm -qal|grep jdk 来查看目录 3）source /etc/profile使更改的配置立即生效 4）java -version查看JDK版本信息。如显示版本号则证明成功。
ubuntu 下安装配置hadoop 1.0.4 第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下， 我的环境 操作系统：wmv虚拟机中的ubuntu12.04 hadoop版本：hadoop-1.0.4(听说是稳定版就下了) eclipse版本：eclipse-jee-indigo-SR2-win32 1.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是 2.安装ssh这个也不用说了 2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的) 3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下：
192.168.116.128这个是虚拟机中ubuntu的ip,听说用localhost，127.0.0.1都不行，我没试过，直接写上ip地址了 tmp是预先创建的一个目录 4.修改hadoop-env.sh 把export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径 5.修改hdfs-site.xml如下：
电子信息学院 实验报告书 课程名：《云计算技术》 题目：实验一、Hadoop的安装与使用 实验类别【设计】 班级： bx1002 学号： 31 姓名：杨汉标 【实验环境】 计算机、Java、Hadoop
【实验目的】 1．理解云计算的基本理论知识； 2．理解Hadoop的基本概念 3．掌握如何在Linux上安装Hadoop； 【实验要求】 1．下载Hadoop和JDK； 2．安装SSH； 3．对Linux进行相应配置。 【基础知识】 Hadoop是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。 程序员的开发步骤： 1.定义Mapper，处理输入的 Key-Value 对， 2.定义Reducer，可选，对中间结果进行规约，输出最终结果 3.定义 InputFormat 和 OutputFormat，可选，InputFormat 将每行为 Java 类供Mapper 函数使用，不定义时默认为 String。 4.定义main 函数，在里面定义一个 Job 并运行它 Hadoop的工作过程 一个集群中只有一个NameNode，可以有多个DataNodes；namenode 承担数据的位置存储信息，并将存储位置信息告诉client端；得到位置信息后，client端开始写数据；写数据的时候是将数据分块，并存储为多份(一般为3份)，放在不同的datanode 节点； client 先将数据写到第一个节点，在第一个节点接收数据的同时，又将它所接收的数据推送到第
jdk-8u101-Linux-x64.gz (Java) hadoop-2.7.3.tar.gz (Hadoop 包)
1.安装虚拟机 在VM上安装下载好的Ubuntu的系统，具体过程自行百度。可以安装完一个以后克隆，但是本人安装过程中遇到很多问题，经常需要删除虚拟机，重新安装，而被克隆的虚拟机不能删除，所以本人就用了很长时候，一个一个安装。 一共3台虚拟机：分配情况和IP地址如下： （注：查看ip地址的指令 ifconfig） 安装虚拟机时可以设置静态IP，因为过程中常常遇到网络连接问 题,ifconfig找不到IPV4地址。当然，也可以不设，默认分配。 参 考https://www.doczj.com/doc/4517416928.html,/wolf_soul/article/details/46409323 192.168.159.132 master 192.168.159.134 node1
如下图所示: 同样地，在node1和node2机器上做相似的操作，分别更改主机名为node1和node2，然后把hosts文件更改和master一样。
3. 给hadoop用户添加权限，打开/etc/sudoers文件 sudo gedit /etc/sudoers 分别在各个主机上执行上述指令，看是否能与其他主机连通。出现下图代表能够连通：
如果都成功ping通，进行下面的操作。 5.安装jdk和配置环境变量 分别在每台主机上安装jdk，并配置环境变量。（嫌麻烦的前面可以安装完jdk后再克隆） 1）下载jdk安装包（自行百度），并将安装包拖入到虚拟机当中 2）通过cd命令进入到安装包的当前目录，利用如下命令进行解压缩。 3）利用如下命令将解压后的文件夹移到/usr目录下 4）配置环境变量 在末尾加上四行： [plain]view plain copy print? 1.#java 2.export JAVA_HOME=/usr/java 3.export JRE_HOME=/usr/java/jre
Hadoop搭建全过程【千锋】 Hadoop主要应用于数据量大、海量计算、数据挖掘、一次写入多次读取、非高实时性要求的场景。Hadoop可以作为分布式存储框架存储大规模数据，数据的价值越来越被企业重视，被称为是21世纪的石油。下面是千锋教育给出的Hadoop搭建教程： 1、安装虚拟机环境 VMware，收费产品，占内存较大。 2、安装操作系统 Ubuntu，操作简单，方便，界面友好。 3、安装一些常用的软件 在每台linux虚拟机上，安装：vim，ssH sudo apt-get install vim sudo apt-get install ssH 在客户端，也就是win7上，安装SecureCRT，Winscp或putty，这几个程序，都是依靠ssH服务来操作的，所以前提必须安装ssH服务。
service ssH status 查看ssH状态。如果关闭使用service ssH start开启服务。 SecureCRT，可以通过ssH远程访问linux虚拟机。 winSCP或putty，可以从win7向linux上传文件。 4、修改主机名和网络配置 主机名分别为：master，Host2，Host3，Host4。 sudo vim /etc/Hostname 网络配置，包括ip地址，子网掩码，DNS服务器。 5、修改/etc/Hosts文件。 修改每台电脑的Hosts文件。 Hosts文件和windows上的功能是一样的。存储主机名和ip地址的映射。 在每台linux上，sudo vim /etc/Hosts 编写Hosts文件。将主机名和ip 地址的映射填写进去。 6、配置ssH，实现无密码登陆 无密码登陆，效果也就是在master上，通过ssH Host2 或ssH Host3 或ssH Host4 就可以登陆到对方计算机上。而且不用输入密码。 四台虚拟机上，使用ssH-keygen -t rsa 一路按回车就行了 7、上传jdk，并配置环境变量。 通过winSCP将文件上传到linux中。将文件放到/usr/lib/java中，四个linux都要操作。 解压缩：tar -zxvf jdk1.7.0_21.tar 设置环境变量sudo vim ~/.basHrc
Hadoop云计算平台及相关组件搭建安装过程详细教程 ——Hbase+Pig+Hive+Zookeeper+Ganglia+Chukwa+Eclipse等 一．安装环境简介 根据官网，Hadoop已在linux主机组成的集群系统上得到验证，而windows平台是作为开发平台支持的，由于分布式操作尚未在windows平台上充分测试，所以还不作为一个生产平台。Windows下还需要安装Cygwin，Cygwin是在windows平台上运行的UNIX模拟环境，提供上述软件之外的shell支持。 实际条件下在windows系统下进行Hadoop伪分布式安装时，出现了许多未知问题。在linux系统下安装，以伪分布式进行测试，然后再进行完全分布式的实验环境部署。Hadoop完全分布模式的网络拓补图如图六所示： （1）网络拓补图如六所示： 图六完全分布式网络拓补图 （2）硬件要求：搭建完全分布式环境需要若干计算机集群，Master和Slaves 处理器、内存、硬盘等参数要求根据情况而定。 （3）软件要求 操作系统64位Ubuntu12.04.4 JDK版本:jdk-7u51-linux-x64.tar.gz
并且所有机器均需配置SSH免密码登录。 二．Hadoop集群安装部署 目前，这里只搭建了一个由三台机器组成的小集群，在一个hadoop集群中有以下角色：Master和Slave、JobTracker和TaskTracker、NameNode和DataNode。下面为这三台机器分配IP地址以及相应的角色： 192.168.100.90——master，namenode，jobtracker——master（主机名） 192.168.100.105——slave，datanode，tasktracker——slave1（主机名） 192.168.100.106——slave，datanode，tasktracker——slave2（主机名）