当前位置：文档之家 › hadoop2集群搭建过程

hadoop2集群搭建过程

  • 格式：doc
  • 大小：46.50 KB
  • 文档页数：8

在这里我们选用4台机器进行示范，各台机器的职责如下表格所示hadoop0 hadoop1 hadoop2 hadoop3是NameNode吗? 是，属集群cluster1是，属集群cluster1是，属集群cluster2是，属集群cluster2是DataNode吗？否是是是是JournalNode吗？是是是否是ZooKeeper吗？是是是否是ZKFC吗? 是是是是1.搭建自动HA1.1.复制hadoop项目到/usr/local目录下1.2.修改hadoop0上位于etc/hadoop目录下的配置文件1.2.1.hadoop-env.shexport JA VA_HOME=/usr/local/jdk1.2.2.core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://cluster1</value></property>【这里的值指的是默认的HDFS路径。

当有多个HDFS集群同时工作时，用户如果不写集群名称，那么默认使用哪个哪？在这里指定！该值来自于hdfs-site.xml中的配置。

在节点hadoop0和hadoop1中使用cluster1，在节点hadoop2和hadoop3中使用cluster2】<property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。

用户也可以自己单独指定这三类节点的目录。

】<property><name>ha.zookeeper.quorum</name><value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value></property>【这里是ZooKeeper集群的地址和端口。

注意，数量一定是奇数，且不少于三个节点】</configuration>1.2.3.hdfs-site.xml该文件只配置在hadoop0和hadoop1上。

<configuration><property><name>dfs.replication</name><value>2</value></property>【指定DataNode存储block的副本数量。

默认值是3个，我们现在有4个DataNode，该值不大于4即可。

】<property><name>services</name><value>cluster1,cluster2</value></property>【使用federation时，使用了2个HDFS集群。

这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。

名字可以随便起，相互不重复即可】<property><name>nodes.cluster1</name><value>hadoop0,hadoop1</value></property>【指定NameService是cluster1时的namenode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可】<property><name>node.rpc-address.cluster1.hadoop0</name><value>hadoop0:9000</value></property>【指定hadoop0的RPC地址】<property><name>node.http-address.cluster1.hadoop0</name><value>hadoop0:50070</value></property>【指定hadoop0的http地址】<property><name>node.rpc-address.cluster1.hadoop1</name><value>hadoop1:9000</value></property>【指定hadoop1的RPC地址】<property><name>node.http-address.cluster1.hadoop1</name><value>hadoop1:50070</value></property>【指定hadoop1的http地址】<property><name>node.shared.edits.dir</name><value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value> </property>【指定cluster1的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】<property><name>dfs.ha.automatic-failover.enabled.cluster1</name><value>true</value></property>【指定cluster1是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】<property><name>dfs.client.failover.proxy.provider.cluster1</name><value>node.ha.ConfiguredFailoverProxyProvider </value></property>【指定cluster1出故障时，哪个实现类负责执行故障切换】<property><name>nodes.cluster2</name><value>hadoop2,hadoop3</value></property>【指定NameService是cluster2时，两个NameNode是谁，这里是逻辑名称，不重复即可。

以下配置与cluster1几乎全部相似，不再添加注释】<property><name>node.rpc-address.cluster2.hadoop2</name><value>hadoop2:9000</value></property><property><name>node.http-address.cluster2.hadoop2</name><value>hadoop2:50070</value></property><property><name>node.rpc-address.cluster2.hadoop3</name><value>hadoop3:9000</value></property><property><name>node.http-address.cluster2.hadoop3</name><value>hadoop3:50070</value></property><!--<property><name>node.shared.edits.dir</name><value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value> </property>【这段代码是注释掉的，不要打开】--><property><name>dfs.ha.automatic-failover.enabled.cluster2</name><value>true</value></property><property><name>dfs.client.failover.proxy.provider.cluster2</name><value>node.ha.ConfiguredFailoverProxyProvider </value></property><property><name>dfs.journalnode.edits.dir</name><value>/usr/local/hadoop/tmp/journal</value></property>【指定JournalNode集群在对NameNode的目录进行共享时，自己存储数据的磁盘路径】<property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property>【一旦需要NameNode切换，使用ssh方式进行操作】<property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property>【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】</configuration>1.2.4.slaveshadoop1hadoop2hadoop31.3.把以上配置的内容复制到hadoop1、hadoop2、hadoop3节点上1.4.修改hadoop1、hadoop2、hadoop3上的配置文件内容1.4.1.修改hadoop2上的core-site.xml内容fs.defaultFS的值改为hdfs://cluster21.4.2.修改hadoop2上的hdfs-site.xml内容把cluster1中关于journalnode的配置项删除，增加如下内容<property><name>node.shared.edits.dir</name><value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value></property>1.4.3.开始启动1.4.3.1.启动journalnode在hadoop0、hadoop1、hadoop2上执行sbin/hadoop-daemon.sh start journalnode1.4.3.2.格式化ZooKeeper在hadoop0、hadoop2上执行bin/hdfs zkfc -formatZK1.4.3.3.对hadoop0节点进行格式化和启动bin/hdfs namenode -formatsbin/hadoop-daemon.sh start namenode1.4.3.4.对hadoop1节点进行格式化和启动bin/hdfs namenode -bootstrapStandbysbin/hadoop-daemon.sh start namenode1.4.3.5.在hadoop0、hadoop1上启动zkfcsbin/hadoop-daemon.sh start zkfc我们的hadoop0、hadoop1有一个节点就会变为active状态。

合集下载

hadoop面试题总结

hadoop面试题总结

hadoop⾯试题总结1、hadoop常⽤端⼝号hadoop2.x Hadoop3.x访问HDFS端⼝50070 9870访问MR执⾏情况端⼝8088 8088历史服务器19888 19888客户端访问集群端⼝9000 80202、hadoop集群搭建hadoop搭建流程概述：（1）准备三个客户端，master，node1，node2（2）安装jdk 配置免密 ssh-keygen -t rsa 分发秘钥 ssh-copy-id master ssh-copy-id node1 ssh-copy-id node2（3）配置环境变量 source ⼀下（4）主要有 hadoop环境配置⽂件：hadoop-env.sh hadoop核⼼配置⽂件 core-site.xml yarn配置⽂件 yarn-site.xml mapreduce核⼼配置⽂件 mapred-site.xml hdfs配置⽂件 hdfs-site.xml（5）分发集群⽂件 scp -r /usr/local....... 格式化 hdfs namenode-format 启动集群 start-all.sh 访问hdfs页⾯查看是否搭建成功3、环境配置⽂件主要内容（1）hadoop-env.sh ： Hadoop 环境配置⽂件vim hadoop-env.sh修改JAVA_HOMEexport JAVA_HOME=/usr/local/soft/jdk1.8.0_171（2）core-site.xml ： hadoop核⼼配置⽂件vim core-site.xml在configuration中间增加以下内容<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/soft/hadoop-2.7.6/tmp</value></property><property><name>fs.trash.interval</name><value>1440</value></property>（3）hdfs-site.xml ： hdfs配置⽂件vim hdfs-site.xml在configuration中间增加以下内容<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>（4）yarn-site.xml： yarn配置⽂件vim yarn-site.xml在configuration中间增加以下内容<property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>20480</value></property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>2048</value></property><property><name>yarn.nodemanager.vmem-pmem-ratio</name><value>2.1</value></property>（5）mapred-site.xml： mapreduce配置⽂件重命名mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml在configuration中间增加以下内容<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>3、hdfs读写流程写流程：1）客户端向namenode请求上传⽂件，namenode检查⽬标⽂件是否已存在，⽗⽬录是否存在。

Hadoop环境搭建及wordcount实例运行

Hadoop环境搭建及wordcount实例运行

Hadoop
环境概述
虚拟平台：VirtualBox4.2.0
Linux版本：Ubuntu10.04
Hadoop版本：hadoop-0.20.2
JDK版本：1.6.0
Hadoop环境规划：一台namenode主机master，两台datanode主机salve1、slave2，master主机IP为111.111.111.2，slave1主机IP为111.111.111.3，slave2主机IP为111.111.111.4。
ssh_5.3p1-3ubuntu3_all.deb
依次安装即可
dpkg -i openssh-client_5.3p1-3ubuntu3_i386.deb
dpkg -i openssh-server_5.3p1-3ubuntu3_i386.deb
dpkg -i ssh_5.3p1-3ubuntu3_all.deb
14/02/20 15:59:58 INFO mapred.JobClient: Running job: job_201402201551_0003
14/02/20 15:59:59 INFO mapred.JobClient: map 0% reduce 0%
14/02/20 16:00:07 INFO mapred.JobClient: map 100% reduce 0%
111.111.111.2 master
111.111.111.3 slave1
111.111.111.4 slave2
然后按以下步骤配置master到slave1之间的ssh信任关系
用户@主机:/执行目录
操作命令
说明
hadoop@master:/home/hadoop
平安大数据测试面试题目(3篇)

平安大数据测试面试题目(3篇)

第1篇一、基础知识部分（1000字）1. 请简要介绍大数据的基本概念及其与传统数据处理的区别。

答案示例：大数据是指规模巨大、类型繁多、价值密度低的数据集合。

与传统数据处理相比，大数据具有以下特点：- 数据规模巨大：大数据通常需要处理PB级别的数据，远超传统数据库的处理能力。

- 数据类型多样：大数据不仅包括结构化数据，还包括半结构化和非结构化数据，如文本、图片、视频等。

- 价值密度低：在大数据中，有价值的信息往往被大量无关信息所包围，需要通过特定的算法和技术进行挖掘。

- 处理速度快：大数据需要实时或近实时处理，以满足快速响应的需求。

2. 请解释Hadoop生态系统中的主要组件及其作用。

答案示例：Hadoop生态系统主要包括以下组件：- Hadoop Distributed File System (HDFS)：分布式文件系统，用于存储大量数据。

- MapReduce：分布式计算框架，用于处理大规模数据集。

- YARN：资源调度框架，用于管理集群资源，支持多种计算框架。

- Hive：数据仓库工具，用于存储、查询和分析大规模数据集。

- Pig：数据流处理工具，用于简化MapReduce编程。

- HBase：分布式数据库，用于存储非结构化和半结构化数据。

- Zookeeper：分布式协调服务，用于管理集群中的节点。

3. 请简要介绍Spark的基本概念及其与Hadoop的区别。

答案示例：Spark是一个快速、通用的大数据处理引擎，它可以在Hadoop集群上运行，也可以独立运行。

与Hadoop相比，Spark具有以下特点：- 速度快：Spark采用内存计算，处理速度比Hadoop快100倍以上。

- 通用性：Spark支持多种数据处理任务，包括批处理、流处理、机器学习等。

- 易于使用：Spark提供简洁的API，方便用户进行编程。

4. 请解释数据仓库的架构及其主要组件。

答案示例：数据仓库的架构通常包括以下组件：- 数据源：包括内部和外部数据源，如数据库、日志文件等。

hadoop环境搭建

hadoop环境搭建

hadoop环境搭建⼀、安装ssh免密登录命令：ssh-keygenoverwrite(覆盖写⼊)输⼊y⼀路回车将⽣成的密钥发送到本机地址ssh-copy-id localhost（若报错命令⽆法找到则需要安装openssh-clients）yum –y install openssh-clients测试免密设置是否成功ssh localhost⼆、卸载已有java确定JDK版本rpm –qa | grep jdkrpm –qa | grep gcj切换到root⽤户，根据结果卸载javayum -y remove java-1.8.0-openjdk-headless.x86_64 yum -y remove java-1.7.0-openjdk-headless.x86_64卸载后输⼊java –version查看三、安装java切换回hadoop⽤户，命令：su hadoop查看下当前⽬标⽂件，命令：ls将桌⾯的hadoop⽂件夹中的java及hadoop安装包移动到app⽂件夹中命令：mv /home/hadoop/Desktop/hadoop/jdk-8u141-linux-x64.gz /home/hadoop/app mv /home/hadoop/Desktop/hadoop/hadoop-2.7.0.tar.gz /home/hadoop/app解压java程序包，命令：tar –zxvf jdk-7u79-linux-x64.tar.gz创建软连接ln –s jdk1.8.0_141 jdk配置jdk环境变量切换到root⽤户再输⼊vi /etc/profile输⼊export JAVA_HOME=/home/hadoop/app/jdk1.8.0_141export JAVA_JRE=JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib export PATH=$PATH:$JAVA_HOME/bin保存退出，并使/etc/profile⽂件⽣效source /etc/profile能查询jdk版本号，说明jdk安装成功java -version四、安装hadoop切换回hadoop⽤户，解压缩hadoop-2.6.0.tar.gz安装包创建软连接，命令：ln -s hadoop-2.7.0 hadoop验证单机模式的Hadoop是否安装成功，命令：hadoop/bin/hadoop version此时可以查看到Hadoop安装版本为Hadoop2.7.0，说明单机版安装成功。