集群安装
所由程序都安装在opt目录下
0 准备：linux系统
1)修改主机名称 （例如 master ）
<1>命令 hostname master （ping为要修改的主机名)
<2>修改配置文件 命令 vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
2)绑定master （主机名）
配置文件 vi /etc/hosts
验证：ping master
3)关闭防火墙
命令 service iptables stop
验证： service iptables status
4)关闭防火墙的自动运行
命令 chkconfig iptables off
验证：chkconfig --list | grep iptables
5)SSH
<1>命令 ssh-keygen -t rsa 将会在~/.ssh下产生秘钥
<2>复制命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(别写错了，)
<3>若要多台机器使用ssh免密码登陆时，用scp命令 将ssh/id_rsa.pub相互复制到authorized_keys中
验证：ssh localhost
1 jdk安装（jdk-6u10-linux-x64.bin）
1)清除系统自带的openjdk :sudo apt-get remove openjdk*
2)安装自己的jdk
1 添加执行权限 :chmod u+x jdk-6u10-linux-x64.bin
2 解压缩:./jdk-6u10-linux-x64.bin
3 移动到opt目录下：mv jdk1.6.0.24 /opt/jdk1.6.0_10
4 配置环境变量：vim /etc/profile 配置环境变量
1.1 软件环境
1) CentOS6.5x64
2) Jdk1.7x64
3) Hadoop2.6.2x64
4) Hbase-0.98.9
5) Zookeeper-3.4.6
1.2 集群环境
集群中包括 3个节点：1个Master, 2个Slave
机器名称 IP地址 Hadoop ZooKeeper myid Hbase
Master.Hadoop 10.1.11.150 NameNode server.1 1 HMaser
Slave1.Hadoop
10.1.11.151 DataNode server.2 2 HRegionServer
Slave2.Hadoop 10.1.11.152 DataNode server.3 3 HRegionServer
2安装前的准备
2.1 下载JDK
2.2 下载 Hadoop
2.3 下载 Zookeeper
2.4 下载 Hbase
3开始安装
3.1 CentOS安装配置
1）安装3台CentOS6.5x64 （使用BasicServer模式，其他使用默认配置，安装过程略）
2） Master.Hadoop 配置
a） 配置网络
修改为:
保存，退出(esc+:wq+enter ),使配置生效
b) 配置主机名
修改为:
c）配置 hosts
修改为:
修改为:
在最后增加如下内容
以上调整，需要重启系统才能生效
g) 配置用户
新建hadoop用户和组，设置 hadoop用户密码
id_rsa.pub ,默认存储在"/home/hadoop/.ssh" 目录下。
a) 把id_rsa.pub追加到授权的 key里面去
b) 修改.ssh目录的权限以及 authorized_keys 的权限
c) 用root用户登录服务器修改 SSH配置文件"/etc/ssh/sshd_config"的下列内容
3) Slavel.Hadoop 、Slavel.Hadoop 配置
２０１３年第８期 （总第１３０期） 信息通信 ＩＮＦ０ＲＭＡＴ１０Ｎ＆Ｃ０ＭＭＵＮＩＣＡＴ１０ＮＳ ２Ｏｌ３ （Ｓｕｍ．Ｎｏ １３０） 支持自动化Ｈａｄｏｏｐ安装部署的研究 王建辉 （北京工业大学软件学院，北京１０００２２） 摘要：随着Ｈａｄｏｏｐ并行计算框架的大量使用，动辄数十台服务器的安装部署，十分耗费精力。文章研究了Ｈａｄｏｏｐ安装 时需要修改的文件信息，结合Ｊａｖａ、ｓｈｅｌｌ￣言研究开发了支持可视化界面、动态选择ｈａｄｏｏｐ各个组件自动安装部署的功 能软件 关键词：Ｈａｄｏｏｐ；自动化；Ｊａｖａ 中图分类号：ＴＰ３１１ 文献标识码：Ａ 文章编号：１６７３—１１３１（２０１３）０８—００２０．０１ 随着电子数据量的日渐庞大，存储、计算，分析等操作需 求急剧增加…。Ｈａｄｏｏｐ作为当下最主流的分布式计算软件，用 户使用量逐年递增。尽管Ｈａｄｏｏｐ对于大数据的处理得心应 手，但是安装部署一套大量Ｈａｄｏｏｐ的集群，并将其运行起来 是一件不容易的事情。 １系统设计 １．１页面设计 客户端采用ＪＳＰ页面开发，并且预留纯文件脚本设置接 口。主要功能是按Ｈａｄｏｏｐ模块设定安装信息，选取Ｄａｍｎｏｄｅ、 Ｈｍａｓ￣ｒ、Ｎａｍｅｎｏｄｅ等，支持分功能引擎分别安装部署。比如 只想安装Ｈｉｖｅ引擎可以只勾选对应选择即可。 选择完需要安装的引擎后，继续选择节点ＩＰ。选取Ｈｂａｓｅ 等其他引擎主节点信息。 纯文件安装部署接口为预留方式，可以预先把需要安装 的节点信息配置到文件中，从文件加载安装部署 。此方式更 适用与了解Ｈａｄｏｏｐ系统的开发者。 １．２无密码访问 首先需要所有节点建立ＳＳＨ无密码访问机制，这是 Ｈａｄｏｏｐ系统运行的基础 。由于第一次登陆ＳＳＨ，必须手 动输入密码，所以采用Ｌｉｎｕｘ自带指令Ｅｘｐｅｃｔ的功能来实 现。Ｅｘｐｅｃｔ是基于Ｓｈｅｌｌ语言开发的用于实现输入命令的 判断、循环，人工制定之后的命令的一种自动交互功能的工 具。简单地说就是可以根据命令结果输入下一步要执行的 命令。 Ｉ．３修改Ｈａｄｏｏｐ参数
《Hadoop大数据技术原理与应用》课程教学大纲
课程编号：3250578
学 分：4学分
学 时：72学时 （其中：讲课学时36 上机学时：36）
先修课程： 《Linux基础》、《关系数据库基础》、《程序设计基础》、《Java面向对象编程》
后续课程：Spark，《Python编程基础》、《Python数据分析与应用》
适用专业：大数据应用技术
一、课程的性质与目标
《大数据应用开发》本课程是软件技术专业核心课程，大数据技术入门课程。通过学习课程使得学生掌握大数据分析的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对Hadoop平台应用与开发的一般理论有所了解，如分布式数据收集、分布式数据存储、分布式数据计算、分布式数据展示。
开设本学科的目的是让学生掌握如何使用大数据分析技术解决特定业务领域的问题。完成本课程学习后能够熟练的应用大数据技术解决企业中的实际生产问题。
二、教学条件要求
操作系统：Center OS
Hadoop版本：Hadoop2.7.4
开发工具：Eclipse
三、课程的主要内容及基本要求
第1章 初识Hadoop
章名 初识Hadoop 学时 4
学习目标 1.了解什么是大数据及其特征
2.熟悉大数据的典型应用
3.了解Hadoop的发展历史及其版本
4.掌握Hadoop的生态体系
知识点 了解 掌握 重点 难点
什么是大数据 √ 大数据的特征 √
研究大数据的意义 √
大数据的应用场景 √
Hadoop的发展历史 √
Hadoop的优势 √ √
Hadoop的生态体系 √ √ √
Hadoop的版本 √
第2章 构建Hadoop集群
章名 Hadoop集群构建 学时 5
学习目标 1.了解虚拟机的安装和克隆
2.熟悉Linux系统的网络配置和SSH配置
3.掌握Hadoop集群的搭建和配置
4.掌握Hadoop集群测试
