当前位置:文档之家› Hadoop安装-部署手册

Hadoop安装-部署手册

Hadoop安装-部署手册
Hadoop安装-部署手册

Hadoop安装、部署手册

基础软件中心系统集成实验室

二○一○年九月

版权声明

@2009-2010年,中国科学院软件研究所基础软件国家工程研究中心版权所有。

使用声明

未经中国科学院软件研究所基础软件国家工程研究中心事先的书面授权,不得以任何方式复制、影印、翻译本文档的任何部分。

表. 修订记录

注:①填满时可增加行;②发布前删除此表。

目录

1 编写目的 (1)

2 安装前的准备 (1)

2.1 硬件环境 (1)

2.2 所需软件 (2)

2.3 免密码ssh设置 (2)

2.4 建立用户 (3)

2.5 Hadoop环境变量 (4)

3 Hadoop安装 (4)

3.1 下载Hadoop发行版 (4)

3.2 安装 (4)

4 Hadoop配置 (5)

4.1 配置hadoop-env.sh (5)

4.2 配置core-site.xml (5)

4.3 配置hdfs-site.xml (6)

4.4 配置mapred-site.xml (6)

4.5 配置masters/slaves (7)

5 Hadoop启动 (7)

5.1 格式化Hadoop (7)

5.2 启动Hadoop (8)

6 运行测试用例 (8)

1 编写目的

本文档详细描述了hadoop 0.20.2.的安装过程和实现完全分布式模式的配置步骤。目的是帮助使用者快速完成Hadoop 安装与使用,并对Hadoop 分布式文件系统系统(HDFS )和Map/Reduce 框架有所体会。

本文档供开发人员、系统维护人员使用。

2 安装前的准备

2.1 硬件环境

准备机器:一台master ,若干台slave ,配置每台机器的/etc/hosts 保证各台机器之间通过机器名可以互访。 例如: 127.0.0.1

localhost

192.168.12.153 cc4 192.168.12.150

node1

192.168.12.154 node2 192.168.12.159 node3

保存后,重启网络服务。本文示范部署的网络结构如下图所示。

Label :154

Server Name:cc4Label :150

Server Name:node1IP:192.168.12.150Username:root

Label :151

Server Name:node2IP:192.168.12.154Username:root Label :152

Server Name:node3IP:192.168.12.159Username:cc3

2.2 所需软件

本文范例是在Linux环境下进行分布式部署,其中cc4和node3 安装的是Ubuntu系统,node1和node2安装的是CentOS系统。

在Linux所需软件包括:

1. JavaTM1.5.x以上,必须安装。范例使用的Java是openjdk 1.6.0。

2. ssh 必须安装并且保证sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。

ssh的安装以Ubuntu Linux为例:

$ sudo apt-get install ssh

$ sudo apt-get install rsync

2.3 免密码ssh设置

在Hadoop启动以后,Namenode是通过SSH(Secure Shell)来启动和停止各个节点上的各种守护进程的,这就需要在节点之间执行指令的时候是不需要输入密码的方式,故我们需要配置SSH使用无密码公钥认证的方式。

首先要保证每台机器上都装了SSH服务器,且都正常启动。以本文的4台机器为例,若cc4是主节点,它需要主动发起SSH连接到node1、node2、node3。对于SSH服务来说,cc4就是SSH客户端,而node1、node2、node3则是SSH服务端,因此在node1、node2、node3上需要确定sshd服务已经启动。简单的说,在cc4上需要生成一个密钥对,即一个私钥,一个公钥。将公钥拷贝到node1、node2、node3上,这样,比如当cc4向node1发起ssh 连接的时候,node1上就会生成一个随机数并用cc4的公钥对这个随机数进行加密,并发送给cc4;cc4收到这个加密的数以后用私钥进行解密,并将解密后的数发送回node1,node1确认解密的数无误后就允许cc4进行连接了。这就完成了一次公钥认证过程。

以cc4免密码登陆node1为例,首先在cc4上生成密钥对:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/dbrg/.ssh/authorized_keys文件中,如果机器上已经有authorized_keys这个文件了,就在文件末尾用cat命令加上id_rsa.pub中的内容,如果没有authorized_keys这个文件,直接cp或者scp就好了。下面的操作假设各个机器上没有authorized_keys文件。

对于cc4:

cp id_rsa.pub authorized_keys

对于node1:

scp authorized_keys node1:/home/linuxdoop/.ssh/

chmod 644 authorized_keys

这一步非常关键,必须保证authorized_keys只对其所有者有读写权限,其他人不允许有写的

权限,否则SSH是不会工作的。

接着,需要对sshd服务进行配置,修改文件/etc/ssh/sshd_config

#设置认证文件存储位置

PubkeyAuthentication yes

AuthorizedKeyFile .ssh/authorized_keys

至此SSH配置已经完成。

一般第一次登陆,会出现以下提示信息

The authenticity of host [node1] can't be established.

Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52.

Are you sure you want to continue connecting (yes/no)?

SSH告诉你它不知道这台主机,但不用担心这个问题,因为你是第一次登录这台主机。键入“yes”。这将把这台主机的“识别标记”加到“~/.ssh/know_hosts”文件中。第二次访问这台主机的时候就不会再显示这条提示信息了。

其他机器如法炮制,使4台机器相互之间都可以免密码登陆。

2.4 建立用户

由于Hadoop要求所有机器上Hadoop的部署目录结构要相同,并且都有一个相同的用户名的帐户。

范例中4台机器是这样的:都有一个linuxdoop的帐户,系统默认的主目录是/home/linuxdoop

对于ubuntu系统,可以增加用户到admin组,让其有sudo权限,这样使用起来方便一点。sudo usermod -G admin -a linuxdoop

Hadoop部署目录结构如下:/home/linuxdoop/HadoopInstall,所有的Hadoop版本放在这个目录中。将hadoop0.20.2压缩包解压至HadoopInstall中,为了方便以后升级,建议建立一个链接指向要使用的Hadoop版本,不妨设为hadoop

[linuxdoop@cc4:HadoopInstall]$ln -s hadoop0.20.2 hadoop

这样一来,所有的配置文件都在hadoop/conf/目录中,所有执行程序都在hadoop/bin目录中。

但是由于上述目录中Hadoop的配置文件和Hadoop的安装目录是放在一起的,这样一旦日后升级Hadoop版本的时候所有的配置文件都会被覆盖,因此建议将配置文件与安装目录分离,一种比较好的方法就是建立一个存放配置文件的目录,/home/linuxdoop/HadoopInstall/hadoop-config/,然后将/hadoop/conf/目录中的core_site.xml,mapred-site.xml,hdfs-site.xml,masters,slaves,hadoop_env.sh六个文件拷贝到hadoop-config/目录中,并指定环境变量$HADOOP_CONF_DIR指向该目录。

综上所述,为了方便以后升级版本,我们需要做到配置文件与安装目录分离,并通过设

定一个指向我们要使用的版本的hadoop的链接,这样可以减少我们对配置文件的维护。2.5 Hadoop环境变量

环境变量在/home/linuxdoop/.bashrc和/etc/profile中设定。主要是指定HADOOP_CONF_DIR,为了以后使用方便,还可以开放java和hadoop可执行命令的路径。

以本文范例来说,cc4,node1,node2 需要添加设置:

export JA V A_HOME=/usr/lib/jvm/java-1.6.0-openjdk

export HADOOP_HOME=/home/linuxdoop/HadoopInstall/hadoop

export HADOOP_CONF_DIR=/home/linuxdoop/HadoopInstall/hadoop-config

export PA TH=$JA V A_HOME/bin:$HADOOP_HOME/bin:$PA TH

node3需添加的设置为:

export JA V A_HOME=/usr/lib/jvm/java-6-openjdk

export HADOOP_HOME=/home/linuxdoop/HadoopInstall/hadoop

export HADOOP_CONF_DIR=/home/linuxdoop/HadoopInstall/hadoop-config

export PA TH=$JA V A_HOME/bin:$HADOOP_HOME/bin:$PA TH

3 Hadoop安装

3.1 下载Hadoop发行版

地址:https://www.doczj.com/doc/1c5260542.html,//hadoop/core/

3.2 安装

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。并且安装路径要一致,如果我们用HADOOP_HOME指代安装的根路径,通常,集群里的所有机器的HADOOP_HOME路径相同。

通常,集群里的一台机器被指定为NameNode,另一台机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。

下载安装包后,直接解压安装即可:

$ tar -zxvf hadoop-0.20.2.tar.gz

$ cd hadoop-0.20.2

注:如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把配置好的软件即

hadoop-0.20.2整个文件夹拷贝到其他机器的相同位置即可。

4 Hadoop配置

对Hadoop的配置通过修改conf/目录下的6个重要配置文件完成:

4.1 配置hadoop-env.sh

可以在hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。

编辑hadoop-env.sh文件,至少需要将JA V A_HOME设置为Java安装根路径。

本文范例修改了两处设置:

cc4,node1,node2设置为:

export JA V A_HOME=/usr/lib/jvm/java-1.6.0-openjdk

export HADOOP_CONF_DIR=/home/linuxdoop/HadoopInstall/hadoop-config

node3设置为:

export JA V A_HOME=/usr/lib/jvm/java-6-openjdk

export HADOOP_CONF_DIR=/home/linuxdoop/HadoopInstall/hadoop-config 4.2 配置core-site.xml

配置core-site.xml:

hadoop.tmp.dir

/home/linuxdoop/HadoopInstall/tmp/hadoop-${https://www.doczj.com/doc/1c5260542.html,}

A base for other temporary directories.

https://www.doczj.com/doc/1c5260542.html,

hdfs://cc4:9100

hadoop.tmp.dir 设置hadoop临时目录的位置。

https://www.doczj.com/doc/1c5260542.html,是NameNode的URI。格式hdfs://主机名:端口/

4.3 配置hdfs-site.xml

配置hdfs-site.xml

https://www.doczj.com/doc/1c5260542.html,.dir

/home/linuxdoop/HadoopInstall/hadoopfs/name1,/home/linuxdoop/HadoopInstall/hadoopf s/name2#hadoop的name目录路径

dfs.data.dir

/home/linuxdoop/HadoopInstall/hadoopfs/data1,/home/linuxdoop/HadoopInstall/hadoopfs /data2

dfs.replication

1

需要预先创建hadoopfs目录。

https://www.doczj.com/doc/1c5260542.html,.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。当这个值是一个逗号分割的目录列表时,nametable数据将会被复制到所有目录中做冗余备份。

dfs.data.dir是DataNode存放块数据的本地文件系统路径,逗号分割的列表。当这个值是逗号分割的目录列表时,数据将被存储在所有目录下,通常分布在不同设备上。

dfs.replication是数据需要备份的数量,默认是3,如果此数大于集群的机器数会出错。

注意:此处的name1、name2、data1、data2目录不能预先创建,hadoop格式化时会自动创建,如果预先创建反而会有问题。

4.4 配置mapred-site.xml

配置mapred-site.xml

mapred.job.tracker

cc4:9200

mapred.job.tracker是JobTracker的主机(或者IP)和端口。格式主机:端口。

4.5 配置masters/slaves

配置masters和slaves来设置主从节点,注意最好使用主机名,并且保证机器之间通过主机名可以互相访问,每个主机名一行。

masters里面是jobtracker和namenode所在节点的主机名或者ip地址,范例的masters文件里只有一行;当然如果想要设置多个节点作为主节点,也可以。

vi masters:

cc4

slaves里面是所有tasktracker和datanode对主机名或ip地址。

vi slaves:

node1

node2

node3

在配置从节点的时候,不需要配置masters文件,只要配置slaves文件就可以了。

配置结束,把配置好的hadoop-0.20.2文件夹拷贝到其他集群的机器中,并且保证上面的配置对于其他机器而言正确,例如:如果其他机器的Java安装路径不一样,要修改hadoop-env.sh

$ scp -r /home/linuxdoop/HadoopInstall node1: /home/linuxdoop

5 Hadoop启动

5.1 格式化Hadoop

先格式化一个新的分布式文件系统

hadoop namenode -format

查看输出保证分布式文件系统格式化成功

执行完后可以到master机器上看到hadoopfs/name1和hadoopfs/name2两个目录。

5.2 启动Hadoop

1. 在主节点master上面启动hadoop,主节点会启动所有从节点的hadoop

start-all.sh

执行完后可以到master和slave机器上看到hadoopfs/data1和/opt/hadoop/hadoopfs/data2两个目录。

2. 从主节点master关闭hadoop,主节点会关闭所有从节点的hadoop。

stop-all.sh

3. Hadoop守护进程的日志写入到${HADOOP_LOG_DIR} 目录(默认是${HADOOP_HOME}/logs).

4. 浏览NameNode和JobTracker的网络接口,它们的地址默认为:

NameNode - http://cc4:50070/

JobTracker - http://cc4:50030/

5. 在主从节点查看当前守护进程运行情况:

jps

6. 启动运行成功后,可以多熟悉熟悉hadoop命令,例如:

tart-all.sh 启动所有的Hadoop守护。包括namenode, datanode, jobtracker, tasktrack

stop-all.sh 停止所有的Hadoop

start-mapred.sh 启动Map/Reduce守护。包括Jobtracker和Tasktrack

stop-mapred.sh 停止Map/Reduce守护

start-dfs.sh 启动Hadoop DFS守护.Namenode和Datanode

stop-dfs.sh 停止DFS守护

hadoop fs –ls 查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;hadoop fs –rmr xxx xxx就是删除目录;

hadoop dfsadmin –report 这个命令可以全局的查看DataNode的情况;

hadoop job -list 后面增加参数是对于当前运行的Job的操作,例如list,kill等;hadoop balancer 均衡磁盘负载的命令。

6 运行测试用例

运行hadoop自带的wordcount 程序测试hadoop。wordcount是一个统计词频的程序。先在文件系统中创建input目录,将README.txt拷贝到该目录中,然后对该文件进行词频统计。

linuxdoop@cc4:~/HadoopInstall/hadoop$ hadoop fs -mkdir input

linuxdoop@cc4:~/HadoopInstall/hadoop$ hadoop fs -put README.txt input/

linuxdoop@cc4:~/HadoopInstall/hadoop$ hadoop jar hadoop-0.20.2-examples.jar word count input output

输出如下信息:

10/09/02 17:19:24 INFO input.FileInputFormat: Total input paths to process : 1

10/09/02 17:19:25 INFO mapred.JobClient: Running job: job_201009021635_0001

10/09/02 17:19:26 INFO mapred.JobClient: map 0% reduce 0%

10/09/02 17:19:39 INFO mapred.JobClient: map 100% reduce 0%

10/09/02 17:19:52 INFO mapred.JobClient: map 100% reduce 100%

10/09/02 17:19:54 INFO mapred.JobClient: Job complete: job_201009021635_0001

10/09/02 17:19:54 INFO mapred.JobClient: Counters: 17

10/09/02 17:19:54 INFO mapred.JobClient: Job Counters

10/09/02 17:19:54 INFO mapred.JobClient: Launched reduce tasks=1

10/09/02 17:19:54 INFO mapred.JobClient: Launched map tasks=1

10/09/02 17:19:54 INFO mapred.JobClient: Data-local map tasks=1

10/09/02 17:19:54 INFO mapred.JobClient: FileSystemCounters

10/09/02 17:19:54 INFO mapred.JobClient: FILE_BYTES_READ=1836

10/09/02 17:19:54 INFO mapred.JobClient: HDFS_BYTES_READ=1366

10/09/02 17:19:54 INFO mapred.JobClient: FILE_BYTES_WRITTEN=3704

10/09/02 17:19:54 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=1306

10/09/02 17:19:54 INFO mapred.JobClient: Map-Reduce Framework

10/09/02 17:19:54 INFO mapred.JobClient: Reduce input groups=131

10/09/02 17:19:54 INFO mapred.JobClient: Combine output records=131

10/09/02 17:19:54 INFO mapred.JobClient: Map input records=31

10/09/02 17:19:54 INFO mapred.JobClient: Reduce shuffle bytes=1836

10/09/02 17:19:54 INFO mapred.JobClient: Reduce output records=131

10/09/02 17:19:54 INFO mapred.JobClient: Spilled Records=262

10/09/02 17:19:54 INFO mapred.JobClient: Map output bytes=2055

10/09/02 17:19:54 INFO mapred.JobClient: Combine input records=179

10/09/02 17:19:54 INFO mapred.JobClient: Map output records=179

10/09/02 17:19:54 INFO mapred.JobClient: Reduce input records=131

查看词频统计结果

linuxdoop@cc4:~/HadoopInstall/hadoop$ hadoop dfs -cat output/p*

zabbix安装配置

Zabbix 一安装配置: 环境搭建: VMware? Workstation 12 Pro (12.0.0 build-2985596) CentOS-7-x86_64-DVD-1511.iso (user:root password: toor00 ) zabbix-3.0.3.tar 安装过程: Installation from sources You can get the very latest version of Zabbix by compiling it from the sources. A step-by-step tutorial for installing Zabbix from the sources is provided here. 1 Installing Zabbix daemons 1 Download the source archive Go to the Zabbix download page and download the source archive. Once downloaded, extract the sources, by running: $ tar -zxvf zabbix-3.0.0.tar.gz Enter the correct Zabbix version in the command. It must match the name of the downloaded archive. 2 Create user account For all of the Zabbix daemon processes, an unprivileged user is required. If a Zabbix daemon is started from an unprivileged user account, it will

Hadoop集群MYSQL的安装指南

前言 本篇主要介绍在大数据应用中比较常用的一款软件Mysql,我相信这款软件不紧紧在大数据分析的时候会用到,现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用,而且现在正慢慢的壮大中。 在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是:1、写程序利用 mapper-Reducer的算法平台进行分析;2、利用Hive组件进行书写Hive SQL进行分析。 第二种方法用到的Hive组件存储元数据最常用的关系型数据库最常用的就是开源的MySQL了,这也是本篇最主要讲解的。 技术准备 VMware虚拟机、CentOS 6.8 64 bit、SecureCRT、VSFTP、Notepad++ 软件下载 我们需要从Mysql官网上选择相应版本的安装介质,官网地址如下: MySQL下载地址:https://www.doczj.com/doc/1c5260542.html,/downloads/

默认进入的页面是企业版,这个是要收费的,这里一般建议选择社区开源版本,土豪公司除外。

然后选择相应的版本,这里我们选择通用的Server版本,点击Download下载按钮,将安装包下载到本地。 下载完成,上传至我们要安装的系统目录。 这里,需要提示下,一般在Linux系统中大型公用的软件安装在/opt目录中,比如上图我已经安装了Sql Server On linux,默认就安装在这个目录中,这里我手动创建了mysql目录。 将我们下载的MySQL安装介质,上传至该目录下。

安装流程 1、首先解压当前压缩包,进入目录 cd /opt/mysql/ tar -xf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar 这样,我们就完成了这个安装包的解压。 2、创建MySql超级管理用户 这里我们需要单独创建一个mySQL的用户,作为MySQL的超级管理员用户,这里也方便我们以后的管理。 groupaddmysql 添加用户组 useradd -g mysqlmysql 添加用户 id mysql 查看用户信息。

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu_CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS 本教程讲述如何配置Hadoop 集群,默认读者已经掌握了Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置。 本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,保证按照步骤来,都能顺利安装并运行Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。 为了方便新手入门,我们准备了两篇不同系统的Hadoop 伪分布式配置教程。但其他Hadoop 教程我们将不再区分,可同时适用于Ubuntu 和CentOS/RedHat 系统。例如本教程以Ubuntu 系统为主要演示环境,但对Ubuntu/CentOS 的不同配置之处、CentOS 6.x 与CentOS 7 的操作区别等都会尽量给出注明。 环境 本教程使用Ubuntu 14.04 64位作为系统环境,基于原生Hadoop 2,在Hadoop 2.6.0 (stable)版本下验证通过,可适合任何Hadoop 2.x.y 版本,例如Hadoop 2.7.1,Hadoop 2.4.1 等。 本教程简单的使用两个节点作为集群环境: 一个作为Master 节点,局域网IP 为192.168.1.121;另一个作为Slave 节点,局域网IP 为192.168.1.122。 准备工作 Hadoop 集群的安装配置大致为如下流程: 1.选定一台机器作为Master 2.在Master 节点上配置hadoop 用户、安装SSH server、安装Java 环境 3.在Master 节点上安装Hadoop,并完成配置 4.在其他Slave 节点上配置hadoop 用户、安装SSH server、安装Java 环境 5.将Master 节点上的/usr/local/hadoop 目录复制到其他Slave 节点上 6.在Master 节点上开启Hadoop 配置hadoop 用户、安装SSH server、安装Java 环境、安装Hadoop 等过程已经在Hadoop安装教程_单机/伪分布式配置或CentOS安装Hadoop_单机/伪分布式配置中有详细介绍,请前往查看,不再重复叙述。 继续下一步配置前,请先完成上述流程的前 4 个步骤。 网络配置 假设集群所用的节点都位于同一个局域网。 如果使用的是虚拟机安装的系统,那么需要更改网络连接方式为桥接(Bridge)模式,才能实现多个节点互连,例如在VirturalBox 中的设置如下图。此外,如果节点的系统是在虚拟机中直接复制的,要确保各个节点的Mac 地址不同(可以点右边的按钮随机生成MAC 地址,否则IP 会冲突):

hadoop基本命令_建表-删除-导数据

HADOOP表操作 1、hadoop简单说明 hadoop 数据库中的数据是以文件方式存存储。一个数据表即是一个数据文件。hadoop目前仅在LINUX 的环境下面运行。使用hadoop数据库的语法即hive语法。(可百度hive语法学习) 通过s_crt连接到主机。 使用SCRT连接到主机,输入hive命令,进行hadoop数据库操作。 2、使用hive 进行HADOOP数据库操作

3、hadoop数据库几个基本命令 show datebases; 查看数据库内容; 注意:hadoop用的hive语法用“;”结束,代表一个命令输入完成。 usezb_dim; show tables;

4、在hadoop数据库上面建表; a1: 了解hadoop的数据类型 int 整型; bigint 整型,与int 的区别是长度在于int; int,bigint 相当于oralce的number型,但是不带小数点。 doubble 相当于oracle的numbe型,可带小数点; string 相当于oralce的varchar2(),但是不用带长度; a2: 建表,由于hadoop的数据是以文件有形式存放,所以需要指定分隔符。 create table zb_dim.dim_bi_test_yu3(id bigint,test1 string,test2 string)

row format delimited fields terminated by '\t' stored as textfile; --这里指定'\t'为分隔符 a2.1 查看建表结构: describe A2.2 往表里面插入数据。 由于hadoop的数据是以文件存在,所以插入数据要先生成一个数据文件,然后使用SFTP将数据文件导入表中。

【免费下载】Zabbix安装使用手册

Zabbix安装使用手册 目录 ZABBIX安装使用手册 (1) 1、安装配置POSTGRESQL9.3 (1) 第一部分安装 1、安装配置Postgresql9.3 2、添加zabbix账户、zabbix数据库 psql –U pgsql postgres postgres=# create user zabbix with password ‘zabbix’ postgres=# LOGIN CREATEDB CREATEROLE; CREATE ROLE postgres=# create database zabbix owner zabbix; CREATE DATABASE postgres=# grant all privileges on database zabbix to zabbix; GRANT 3、安装zabbix-server cd /usr/ports/net-mgmt/zabbix22-server/ make install clean 4、导入zabbix数据模板 root@bsd:/# cd /usr/local/share/zabbix22/server/database/postgresql root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat schema.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat images.sql | psql –U zabbix zabbix; root@bsd:/usr/local/share/zabbix22/server/database/postgresql# cat data.sql | psql –U zabbix zabbix; 5、配置zabbix -server root@bsd:/usr/local/etc/zabbix22# cp/usr/local/etc/zabbix22/zabbix_server.conf.sample

Hadoop-0.20.2详细安装及疑难问题

安装 2011年4月4日 10:13 Hadoop-0.20.2安装使用 1、Cygwin 安装 ssh 2、按照以下的文档配置ssh 在Windows上安装Ha doop教程.pdf 3、几个配置文件的配置 3.1、conf/core-site.xml https://www.doczj.com/doc/1c5260542.html, hdfs://localhost:9000 true hadoop.tmp.dir /workspace/temp/hadoop/tmp/hadoop- ${https://www.doczj.com/doc/1c5260542.html,} true 3.2、conf/hdfs-site.xml dfs.replication 1 true https://www.doczj.com/doc/1c5260542.html,.dir /workspace/temp/hadoop/data/hadoop/name true

dfs.data.dir /workspace/temp/hadoop/data/hadoop/data true 3.3、conf/mapred-site.xml mapred.job.tracker localhost:9001 true 3.4、conf/hadoop-env.sh export JAVA_HOME=D:/workspace/tools/jdk1.6 4、解决启动的时候 ClassNotFound: org.apache.hadoop.util.PlatformName 将 %hadoop_home%\bin\hadoop-config.sh中的第190行 修改为如下: JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m -classpath ${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"` 5、命令

zabbix环境部署详细步骤(小白可入)

Zabbix部署流程 目录 1、计划安排 (2) 2、环境准备 (2) 3、软件安装(lamp) (2) 4、配置文件修改 (3) 5、web初始化及登陆 (4) 6、监控项模板配置 (5) 7、网络自动发现主机 (8) 8、添加监控项的触发器及对应的动作 (11) 9、在zabbix-server端配置简单的邮件postfix服务 (16) 10、用户与报警媒介关联 (18)

1、计划安排 2、环境准备 Zabbix-server端(10.21.X.X):操作系统:centos7.1 硬件:4c/8G 80G 安装图形化 Mysql数据库端(10.21.20.202):操作系统:centos7.1 硬件:4c/8G 120G 3、软件安装(lamp) (1)Zabbix-Server组件: yum –y install net-snmp* gcc 下载zabbix-3.2.7.tar.gz包并进行编译安装(./configure –prefix=/usr/local/zabbix --enable –server --enable-agent --with-mysql --with-net-snmp)---- make (注编译时若出现报错,按照报错解决依赖包问题) (2)web 组件(注意php的软件版本一定要保持一致5.4) yum -y install httpd php php-mysql yum -y localinstall zabbix-web-3.2.0 zabbix-web-mysql-3.2.0 php-mbstring php-bcmath (3)数据库端

Hadoop全分布式安装配置

Hadoop全分布式安装配置 一实验目的: 1、了解Hadoop的体系结构、组成; 2、熟练掌握Hadoop的配置、安装方法; 3、通过安装Hadoop了解Hadoop的原理; 二实验内容: 集群包含三个安装了Linux操作系统的节点。将其中的一个节点作为NameNode,另外两个节点作为DataNode,安装之前先利用ping命令,确认三个节点之间的网络互通,即可以互相ping通。假设三个节点IP地址如下,实际的集群节点IP地址可以不同。 NameNode:192.168.198.2 主机名:master DataNode1:192.168.198.3 主机名:slaver1 DataNode2:192.168.198.4 主机名:slaver2 三实验环境: 在申请的虚拟服务器上安装了VMWare Workstation虚拟3个Ubuntu14.04系统。 四安装配置过程: 1、安装Vmware WorkStation软件 下载安装Vmware WorkStation12.0软件。 2、在虚拟机上安装linux操作系统 在Vmware WorkStation12.0中创建一个Ubuntu14.04系统。拷贝镜像文件复制出三个系统。分别为master、slaver1、slaver2。 3、配置hosts、hostname文件

在三台机器上配置相同的hosts文件 (1)修改hosts sudo gedit /etc/hosts 192.168.198.200 master 192.168.198.199 slave1 192.168.198.198 slave2 (2)修改hostname sudo gedit /etc/hostname 4、配置ip地址 配置ip:sudo gedit /etc/network/interfaces slave2 auto eth0 iface eth0 inet static address 192.168.198.198 gateway 192.168.198.107 netmask 255.255.255.0 slave1 auto eth0 iface eth0 inet static address 192.168.198.199 gateway 192.168.198.107 netmask 255.255.255.0 master auto eth0 iface eth0 inet static address 192.168.198.200 gateway 192.168.198.107 netmask 255.255.255.0

centos下hadoop2.6.0配置

Hadoop-2.6.0配置 前面的部分跟配置Hadoop-1.2.1的一样就可以,什么都不用变,完全参考文档1即可。下面的部分就按照下面的做就可以了。 hadoop-2.6.0的版本用张老师的。 下面的配置Hadoop hadoop-2.6.0的部分 1.修改hadoop- 2.6.0/etc/hadoop/hadoop-env.sh,添加JDK支持: export JAVA_HOME=/usr/java/jdk1.6.0_45 如果不知道你的JDK目录,使用命令echo $JAVA_HOME查看。 2.修改hadoop-2.6.0/etc/hadoop/core-site.xml 注意:必须加在节点内 hadoop.tmp.dir /home/hadoop/hadoop-2.6.0/tmp Abase for other temporary directories. https://www.doczj.com/doc/1c5260542.html, hdfs://master:9000 3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml https://www.doczj.com/doc/1c5260542.html,.dir /home/hadoop/hadoop-2.6.0/dfs/name Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently. dfs.data.dir /home/hadoop/hadoop-2.6.0/dfs/data Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks. dfs.replication 1 4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml

Hadoop 集群基本操作命令-王建雄-2016-08-22

Hadoop 集群基本操作命令 列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help (注:一般手动安装hadoop大数据平台,只需要创建一个用户即可,所有的操作命令就可以在这个用户下执行;现在是使用ambari安装的dadoop大数据平台,安装过程中会自动创建hadoop生态系统组件的用户,那么就可以到相应的用户下操作了,当然也可以在root用户下执行。下面的图就是执行的结果,只是hadoop shell 支持的所有命令,详细命令解说在下面,因为太多,我没有粘贴。) 显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name (注:可能有些命令,不知道什么意思,那么可以通过上面的命令查看该命令的详细使用信息。例子: 这里我用的是hdfs用户。) 注:上面的两个命令就可以帮助查找所有的haodoop命令和该命令的详细使用资料。

创建一个名为 /daxiong 的目录 $ bin/hadoop dfs -mkdir /daxiong 查看名为 /daxiong/myfile.txt 的文件内容$ bin/hadoop dfs -cat /hadoop dfs -cat /user/haha/part-m-00000 上图看到的是我上传上去的一张表,我只截了一部分图。 注:hadoop fs <..> 命令等同于hadoop dfs <..> 命令(hdfs fs/dfs)显示Datanode列表 $ bin/hadoop dfsadmin -report

$ bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如: -report:报告HDFS的基本统计信息。 注:有些信息也可以在NameNode Web服务首页看到 运行HDFS文件系统检查工具(fsck tools) 用法:hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 命令选项描述 检查的起始目录。 -move 移动受损文件到/lost+found -delete 删除受损文件。 -openforwrite 打印出写打开的文件。 -files 打印出正被检查的文件。 -blocks 打印出块信息报告。 -locations 打印出每个块的位置信息。 -racks 打印出data-node的网络拓扑结构。 打印版本信息 用法:hadoop version 运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程(balancer)

Centos7安装配置zabbix

Centos7安装配置zabbix 1 关闭firewall systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 2 安装iptables防火墙 yum install iptables-services #安装 vi /etc/sysconfig/iptables #编辑防火墙配置文件 *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #追加这行-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #追加这行 -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT systemctl restart iptables.service #最后重启防火墙使配置生效 systemctl enable iptables.service #设置防火墙开机启动 3 关闭SELINUX vi /etc/selinux/config

hadoop集群完整配置过程详细笔记

本文为笔者安装配置过程中详细记录的笔记 1.下载hadoop hadoop-2.7.1.tar.gz hadoop-2.7.1-src.tar.gz 64位linux需要重新编译本地库 2.准备环境 Centos6.4 64位,3台 hadoop0 192.168.1.151namenode hadoop1 192.168.1.152 datanode1 Hadoop2 192.168.1.153 datanode2 1)安装虚拟机: vmware WorkStation 10,创建三台虚拟机,创建时,直接建立用户ha,密码111111.同时为root密码。网卡使用桥接方式。 安装盘 、 2). 配置IP.创建完成后,设置IP,可以直接进入桌面,在如下菜单下配置IP,配置好后,PING 确认好用。 3)更改三台机器主机名 切换到root用户,更改主机名。 [ha@hadoop0 ~]$ su - root Password: [root@hadoop0 ~]# hostname hadoop0 [root@hadoop0 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 以上两步后重启服务器。三台机器都需要修改。 4)创建hadoop用户 由于在创建虚拟机时,已自动创建,可以省略。否则用命令创建。

5)修改hosts文件 [root@hadoop0 ~]# vi /etc/hosts 127.0.0.1 localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1localhostlocalhost.localdomain localhost6 localhost6.localdomain6 192.168.1.151 hadoop0 192.168.1.152 hadoop1 192.168.1.153 hadoop2 此步骤需要三台机器都修改。 3.建立三台机器间,无密码SSH登录。 1)三台机器生成密钥,使用hadoop用户操作 [root@hadoop0 ~]# su– ha [ha@hadoop0 ~]$ ssh -keygen -t rsa 所有选项直接回车,完成。 以上步骤三台机器上都做。 2)在namenode机器上,导入公钥到本机认证文件 [ha@hadoop0 ~]$ cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys 3)将hadoop1和hadoop2打开/home/ha/.ssh/ id_rsa.pub文件中的内容都拷贝到hadoop0的/home/ha /.ssh/authorized_keys文件中。如下: 4)将namenode上的/home/ha /.ssh/authorized_keys文件拷贝到hadoop1和hadoop2的/home/ha/.ssh文件夹下。同时在三台机器上将authorized_keys授予600权限。 [ha@hadoop1 .ssh]$ chmod 600 authorized_keys 5)验证任意两台机器是否可以无密码登录,如下状态说明成功,第一次访问时需要输入密码。此后即不再需要。 [ha@hadoop0 ~]$ ssh hadoop1 Last login: Tue Aug 11 00:58:10 2015 from hadoop2 4.安装JDK1.7 1)下载JDK(32或64位),解压 [ha@hadoop0 tools]$ tar -zxvf jdk-7u67-linux-x64.tar.gz 2)设置环境变量(修改/etx/profile文件), export JAVA_HOME=/usr/jdk1.7.0_67 export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 3)使环境变量生效,然后验证JDK是否安装成功。

hadoop2.6基于yarn安装配置详解

Hadoop2.6配置详解 在hadoop2.0中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态。Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。 这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.6解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调 hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM(由cloudra提出,原理类似zookeeper)。这里我使用QJM完成。主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 1安装前准备 1.1示例机器 192.168.0.10 hadoop1 192.168.0.20 hadoop2 192.168.0.30 hadoop3 192.168.0.40 hadoop4 每台机器都有一个hadoop用户,密码是hadoop 所有机器上安装jdk1.7。 在hadoop2,hadoop3,hadoop4上安装Zookeeper3.4集群。 1.2配置ip与hostname 用root用户修改每台机器的hosts

Hadoop命令大全

Hadoop命令大全 Hadoop配置: Hadoop配置文件core-site.xml应增加如下配置,否则可能重启后发生Hadoop 命名节点文件丢失问题: hadoop.tmp.dir /home/limingguang/hadoopdata 环境变量设置: 为了便于使用各种命令,可以在.bashrc文件中添加如下内容: export JAVA_HOME=/home/limingguang/jdk1.7.0_07 export HADOOP_HOME=/home/limingguang/hadoop-1.0.3 export HIVE_HOME=/home/limingguang/hive-0.9.0 export MAHOUT_HOME=/home/limingguang/mahout-distribution-0.7 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$MAHOUT_HOME/bin: $PATH export HADOOP_HOME_WARN_SUPPRESS=1 具体目录请更改为安装目录,HADOOP_HOME_WARN_SUPPRESS变量为抑制HADOOP_HOME变量重复时的告警。 常用命令:

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息,失败和终止的任务细节。 4、关于作业的更多细节,比如成功的任务,以及对每个任务的所做的尝试次数等可以用下面的命令查看 $ bin/hadoop job -history all output-dir 5、格式化一个新的分布式文件系统: $ bin/hadoop namenode -format 6、在分配的NameNode上,运行下面的命令启动HDFS: $ bin/start-dfs.sh bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。 7、在分配的JobTracker上,运行下面的命令启动Map/Reduce: $ bin/start-mapred.sh bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves 文件的内容,在所有列出的slave上启动TaskTracker守护进程。 8、在分配的NameNode上,执行下面的命令停止HDFS: $ bin/stop-dfs.sh bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。 9、在分配的JobTracker上,运行下面的命令停止Map/Reduce: $ bin/stop-mapred.sh bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。 10、启动所有 $ bin/start-all.sh 11、关闭所有 $ bin/stop-all.sh DFSShell 10、创建一个名为 /foodir 的目录 $ bin/hadoop dfs -mkdir /foodir 11、创建一个名为 /foodir 的目录 $ bin/hadoop dfs -mkdir /foodir 12、查看名为 /foodir/myfile.txt 的文件内容 $ bin/hadoop dfs -cat /foodir/myfile.txt

Zabbix安装配置手册- -

Zabbix 手册 目录 Ⅰ Zabbix简介 (1) 一、Zabbix介绍 (1) 二、Zabbix系统架构 (4) 1.Zabbix架构: (4) 2.Zabbix架构说明: (5) Ⅱ Zabbix安装 (8) 一、Zabbix安装 (8) 1、安装基础包 (8) 2、启动httpd、mysql (9) 3、配置防火墙 (9) 4、配置PHP参数 (9) 5、修改httpd 的FQDN 错误 (10) 6、下载zabbix-3.0.3tar.gz (10) 7、添加zabbix 用户和组 (11)

8、安装zabbix-server (11) 9、创建zabbix 数据库以及相关表 (11) 10、配置软连接和启动文件信息 (12) 11、修改/etc/init.d 目录下的zabbix_server 和zabbix_agentd 启动文件(配置 server和agent) (12) 12、通过web 站点配置zabbix (14) 二、Zabbix 监控机配置 (19) 1. 登录 (20) 2. 添加主机(Hosts) (21) 3. 创建模板 (27) 4.添加告警动作(Actions) (30) 5.添加告警方式(Medias) (30) 6.添加用户(Users) (32) Ⅲ Zabbix配置 (34) 一、Client端配置 (34) 二、zabbix_server.conf 配置文件详解 (35) 三、zabbix_agentd.conf 配置文件详解 (43)

ⅠZabbix简介 一、Zabbix介绍 Zabbix是一个分布式监控系统,支持多种采集方式和采集客户端,有专用的Agent(代理),也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议,它将采集到的数据存放到数据库,然后对其进行分析整理,达到条件触发告警.其灵活的扩展性和丰富的功能是其他监控系统所不能比的。相对来说,它的总体功能做得非常优秀,其界面如图1-1、图1-2。 图1-1

hadoop3安装和配置

hadoop3.0.0安装和配置1.安装环境 硬件:虚拟机 操作系统:Centos 7 64位 IP:192.168.0.101 主机名:dbp JDK:jdk-8u144-linux-x64.tar.gz Hadoop:hadoop-3.0.0-beta1.tar.gz 2.关闭防火墙并配置主机名 [root@dbp]#systemctl stop firewalld #临时关闭防火墙 [root@dbp]#systemctl disable firewalld #关闭防火墙开机自启动 [root@dbp]#hostnamectl set-hostname dbp 同时修改/etc/hosts和/etc/sysconfig/network配置信息 3.配置SSH无密码登陆 [root@dbp]# ssh-keygen -t rsa #直接回车 [root@dbp]# ll ~/.ssh [root@dbp .ssh]# cp id_rsa.pub authorized_keys [root@dbp .ssh]# ssh localhost #验证不需要输入密码即可登录

4.安装JDK 1、准备jdk到指定目录 2、解压 [root@dbp software]# tar–xzvf jdk-8u144-linux-x64.tar.gz [root@dbp software]# mv jdk1.8.0_144/usr/local/jdk #重命名4、设置环境变量 [root@dbp software]# vim ~/.bash_profile 5、使环境变量生效并验证 5.安装Hadoop3.0.0 1、准备hadoop到指定目录 2、解压

(完整版)hadoop常见笔试题答案

Hadoop测试题 一.填空题,1分(41空),2分(42空)共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有:单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为:core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割,分割后存放在既定的存储块 中,并通过预先设定的优化处理,模式对存储的数据进行预处理,从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分,即namenode 与datanode 。一般来说,一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器,主要是用于对HDFS中所有的文件及内容 数据进行维护,并不断读取记录集群中datanode 主机情况与工作状态,并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色,是集群的工作节点。文 件被分成若干个相同大小的数据块,分别存储在若干个datanode 上,datanode 会定期向集群内namenode 发送自己的运行状态与存储内容,并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息,然后将文件存储位置信息发 送给client ,由client 直接与datanode 进行联系,从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元,默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份,将每个Block至少复制到 3 个相互独立的硬件上,这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候,客户端会向namenode 报告错误,并 请求namenode 排除错误的datanode 后,重新根据距离排序,从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败,那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题,FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息,并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ,并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为:hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为:start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为:start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为:stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录(如:/a/b/c)的命令为:hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为:hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是:Hadoop common 、HDFS 、

相关主题
相关文档 最新文档