hbase安装教程
- 格式:pptx
- 大小:3.77 MB
- 文档页数:20
HBASE 安装一、安装指南二、常见问题一、安装指南Hadoop+Hbase安装配置实录2010-10-12 22:53生产环境:3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2操作系统:rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作和以下相同)vi /etc/hosts192.168.0.61 master192.168.0.62 slave1192.168.0.63 slave22.用root操作3.免密码登录#ssh-keygen -t rsa #建立ssh目录,敲回车到底 ,这一步需要先在每台机器上执行。
在master上#scp ~/.ssh/id_rsa.pub root@slave1:/root/.ssh/id_rsa.pub_m将master 上的密钥传到slave1的/home/hadoop下在slave1上#cat /root/.ssh/id_rsa.pub_m >> ~/.ssh/authorized_keys#chmod 644 ~/.ssh/authorized_keys反复操作第3步,完成master<-->slave1 master<-->slave2的免密码登录这样主节点和从节点之间就可以不用密码直接ssh访问,另外,在启动hadoop 时需要master ssh master,因此,在master的~/.ssh下,也执行下cat id_rsa.pub >> authorized_keys 即可。
4.安装JDK到/usr/local下命名为jdk6然后:编辑三台机器的/etc/profile,增加如下内容export JAVA_HOME=/usr/local/jdk6export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport HADOOP_HOME=/hadoop/hadoopexport HBASE_HOME=/hadoop/hbasePATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin#vi /root/.bashrc增加export HADOOP_CONF_DIR=/hadoop/hadoop-configexport HBASE_CONF_DIR=/hadoop/hbase-config5、防火墙各机器加入iptables策略:#iptables -I INPUT -s 192.168.0.0/255.255.255.0 -j ACCPET#service iptables save-----------------------------------------hadoop配置:1.下载安装#cd /hadoop#wget/apache-mirror//hadoop/core/hadoop-0.20.2/hadoo p-0.20.2.tar.gz#tar -zxvf hadoop-0.20.2.tar.gz#ln -s hadoop-0.20.2 hadoop由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的,这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖,因此将配置文件与安装目录分离,一种比较好的方法就是建立一个存放配置文件的目录,/hadoop/hadoop-config/,然后将 /hadoop/hadoop/conf/目录中的core-site.xml,slaves,hadoop-env.sh,masters, hdfs-site.xml,mapred-site.xml,这6个文件拷贝到 /hadoop/hadoop-config/目录中,并指定环境变量$HADOOP_CONF_DIR指向该目录。
工作总结主题:debian下安装配置HBase,Hive,Chukwa,Pig,Zookeeper;windows下结合eclipse进行MapReduce开发。
一、安装HBase✧#apt-cache search jdk命令找到当前可用jdk版本,选择open-6-jdk openjdk-6-jre;✧#apt-get install open-6-jdk openjdk-6-jre进行安装。
✧#cd /opt转到opt目录下,通过命令✧#wget /apache-mirror/hbase/hbase-0.90.6/hbase-0.90.6.tar.gz下载HBase到/opt目录下✧#tar –zxvf hbase-0.90.6.tar.gz在当前目录下将hbase-0.90.6.tar.gz解压✧#vi /opt/hbase-0.90.6/conf/hbase-env.sh 编辑hbase-env.sh来配置JAVA_HOME✧找到有JAVA_HOME的那一行去掉前面的#号改为你的Java安装路径JAVA_HOME=/usr/lib/jvm/jdk1.6.0-24✧配置好后,通过#bin/hbase 可以获取HBase的选项列表✧#bin/start-hbase.sh 启动HBase✧#bin/hbase shell启动HBase的外壳环境(shell)。
✧安装成功。
二、安装Hive✧#cd /opt转到opt目录下,通过命令✧#wget /apache-mirror/hive/hive-0.9.0/hive-0.9.0.tar.gz下载Hive✧#tar –zxvf hive-0.9.0.tar.gz进行解压。
✧配置HIVE_HOME,直接输入以下命令,或者编辑hive-env.sh配置#export HIVE_HOME=/opt/hive-0.9.0# export PATH=$PATH:$HIVE_HOME/bin✧除此之外还要保证HADOOP_HOME的配置#export HADOOP_HOME=/opt/hadoop-1.0.3.✧直接输入bin/hive即可启动✧安装成功三、安装Pig✧#cd /opt转到opt目录下,通过命令✧#wget /pig/pig-0.10.0/pig-0.10.0.tar.gz下载Pig✧#tar –zxvf pig-0.10.0.tar.gz在当前目录下解压✧直接在命令行输入以下命令配置好PIG_HOME#export PIG_HOME=/opt/pig-0.10.0#export PATH=$PATH:$PIG_HOME/bin✧还需要设置JAVA_HOME环境变量,以指明Java安装路径✧#pig –help可获得使用帮助✧#bin/pig –x local这样就能启动Grunt。
Hadoop学习之Hbase安装安装需注意:1、安装环境:Centos6.6 64位,2G内存(在虚拟机下安装Centos系统)。
Jdk版本:1.7.0_71Hadoop版本:2.5.1Hbase版本:0.98.72、Hadoop环境:节点名用户名IP地址master gznc 192.168.1.100slave01 gznc 192.168.1.101slave02 gznc 192.168.1.1021、把下载好的Hbase安转包上传或者移动到主节点的gznc目录下。
2、解压Hbase的安装包,命令如下:3、配置Hbase环境变量(备注:slave01(节点)也要配置),命令如下:在末尾添加以下代码:4、使环境变量生效,命令如下:5、进入Hbase安装目录下的conf文件夹,命令如下:6、配置hbase-env.sh文件,命令如下:找到JAVA_HOME和HBASE_CLASSPATH和HBASE_MANAGES_ZK配置选项,先把前面的“#”号去掉,在“=”号后添加以下代码:jdk安转目录:Hbase安装路径:使用自带的zookeeper的管理集群:7、配置hbase-site.xml文件,命令如下:添加以下代码:8、配置节点列表:删掉localhost,更改为自己的电脑的节点的主机名(hostname),有几个节点就填写几个,一个节点名独占一行(备注:如果不知道主机名,可以打开终端输入“hostname”,就可以查看)。
如下图:9、在主节点(master)为从节点(slave01)配置HMaster的备用节点,backup-masters文件本身不存在,命令执行完成后会自动生成:添加以下类容:10、把主节点hbase文件复制到从节点,命令如下:11、启动hbase,输入jps查看各个进程的情况,命令如下:启动hbase:查看主节点进程:从节点进程:12、进入hbase(在hbase安装目录的bin目录下输入“habse shell”):13、输入“help”查看hbase提供的功能:14、查看hbaseRegionserver运行状态,命令如下:15、查看当前用户:16、Enjoy!如需转载,请注明出处。
实验指导书分布式数据库HBase安装配置与实践1.1实验目的HBase安装配置与实践1.2实验环境本教程运行环境是Cent OS 64位系统下,HBase版本为hbase-1.0.1.1-bin.tar.gz,这是目前已经发行的已经编译好的稳定的版本,带有src的文件是未编译的版本。
下载地址/dyn/closer.cgi/hbase/1.3实验步骤1.3.1安装并配置HBase1. HBase安装1.1 解压安装包hbase-1.0.1.1-bin.tar.gz至路径 /usr/local,命令如下:cd /usr/localsudo tar -zxvf hbase-1.0.1.1-bin.tar.gz1.2 将解压的文件名hbase-1.0.1.1改为hbase,以方便使用,命令如下:sudo mv hbase-1.0.1.1 hbase1.3 配置环境变量将hbase下的bin目录添加到path中,这样,启动hbase就无需到/usr/local/hbase目录下,大大的方便了hbase的使用。
教程下面的部分还是切换到了/usr/local/hbase目录操作,有助于初学者理解运行过程,熟练之后可以不必切换。
编辑~/.bashrc文件vi ~/.bashrc如果没有引入过PATH请在~/.bashrc文件尾行添加如下内容:export PATH=$PATH:/usr/local/hbase/bin如图1:图 1编辑完成后,再执行source命令使上述配置在当前终端立即生效,命令如下:source ~/.bashrc扩展阅读: 设置Linux环境变量的方法和区别(下附)1.4 添加HBase权限sudo chown -R hadoop:hadoop ./hbase #将hbase下的所有文件的所有者以及用户组改为hadoop,hadoop是当前用户的用户名。
1.5 查看HBase版本,确定hbase安装成功,命令如下:hbase version命令执行后,输出信息截图如图2:图 2看到以上输出消息表示HBase已经安装成功,接下来将分别进行HBase单机模式和伪分布式模式的配置。
一、说明网络上有很多关于hadoop hbase hive的安装说明,按照其方法,总是有问题,记录下完整的安装过程,以供参考。
A操作系统是 ubuntu12.10二、安装jdk, hadoop, ssh server的方法参考文章《ubuntu操作记录》下面是具体内容:1.安装ubuntu之后,增加root 用户 sudo passwd ;2.ifconfig查看网络配置;/etc/network/interfaces3.网络配置文件:netifa /etc/sysconfig/network4、安装ssh5.sudo apt-get ssh-server;6、jdk安装sudo mo ./jdk.bin /opt/chmod u+x jdk.binsudo ./jkd.bin或 sh ./jdk.bin6.配置jdk;/etc/profile#set java environmentexport JAVA_HOME=/opt/jdk1.6.0_24(=前后没有空格)export CLASSPATH=.:$JAVA_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATHumask 022/etc/environmentPATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/ga mesc"CLASSPATH="/opt/jdk1.6.0_24/lib"JAVAHOME="/opt/jdk1.6.0_24"7. shutdown –r now重启之后,显示java安装成功。
7、ssh设置$ apt-get install ssh$ ssh-keygen -t rsa -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ ssh localhost(认证没有通过)在上面的问题中应该回答yes,继续,就可以ssh匿名登录了。
安装和配置HBase需要按照以下步骤进行:
1. 解压安装包:将HBase安装包解压到指定的目录中。
2. 重命名路径:将解压后的路径重命名为HBase的根目录。
3. 添加环境变量:将HBase的根目录添加到系统的环境变量中,以便在命令行中访问HBase。
4. 配置hbase-env.sh文件:打开HBase根目录下的conf文件夹,找到hbase-env.sh文件,修改其中的配置项,例如HBASE_HEAPSIZE 等。
5. 配置hbase-site.xml文件:打开HBase根目录下的conf文件夹,找到hbase-site.xml文件,修改其中的配置项,例如HBASE_HOME、HBASE_ZOOKEEPER_QUORUM等。
6. 配置regionservers文件:打开HBase根目录下的conf文件夹,找到regionservers文件,添加需要运行的regionserver节点的主机名。
7. 创建hbase.tmp.dir目录:在HBase根目录下创建一个临时目录,用于存储HBase运行时产生的临时文件。
8. 将文件分发到slave节点:将HBase的安装包和配置文件分发到其他slave节点上,以便这些节点可以运行HBase。
9. 修改hbase目录权限:在所有节点上修改HBase目录的权限,确保只有指定的用户可以访问和修改HBase的目录和文件。
完成以上步骤后,您已经成功安装和配置了HBase。
您可以使用HBase 提供的命令行工具或API进行基本操作,例如创建表、插入数据、查询数据等。
Hbase的安装(详细步骤)Hbase的安装(详细步骤)1、前提条件1、得安装的有hdfs系统2、得安装zookeeper集群2、准备安装包下载安装包并上传到node01服务器安装包下载地址:将安装包上传到node01服务器/hc/softwares路径下,并进⾏解压[hadoop@node01 ~]$ cd /hc/soft/[hadoop@node01 soft]$ tar -zxvf hbase-2.2.6-bin.tar.gz -C /hc/install/3、修改Hbase配置⽂件3.1、修改hbase-env.sh⽂件修改⽂件[hadoop@node01 softwares]$ cd /hc/install/hbase-2.2.6/conf[hadoop@node01 conf]$ vim hbase-env.sh修改如下两项内容,值如下export JAVA_HOME=/hc/install/jdk1.8.0_141export HBASE_MANAGES_ZK=false3.2、修改hbase-site.xml⽂件修改⽂件[hadoop@node01 conf]$ vim hbase-site.xml内容如下<configuration><!-- 指定hbase在HDFS上存储的路径 --><property><name>hbase.rootdir</name><value>hdfs://node01:8020/hbase</value></property><!-- 指定hbase是否分布式运⾏ --><property><name>hbase.cluster.distributed</name><value>true</value></property><!-- 指定zookeeper的地址,多个⽤“,”分割 --><property><name>hbase.zookeeper.quorum</name><value>node01,node02,node03:2181</value></property><!--指定hbase管理页⾯--><property><name>.port</name><value>60010</value></property><!-- 在分布式的情况下⼀定要设置,不然容易出现Hmaster起不来的情况 --><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property></configuration>3.3、修改regionservers⽂件修改⽂件[hadoop@node01 conf]$ vim regionservers指定HBase集群的从节点;原内容清空,添加如下三⾏node01node02node033.4、修改back-masters⽂件创建back-masters配置⽂件,⾥边包含备份HMaster节点的主机名,每个机器独占⼀⾏,实现HMaster的⾼可⽤[hadoop@node01 conf]$ vim backup-masters将node02作为备份的HMaster节点,问价内容如下node024、分发安装包将 node01上的HBase安装包,拷贝到其他机器上[hadoop@node01 conf]$ cd /hc/install[hadoop@node01 install]$ scp -r hbase-2.2.6/ node02:/hc/install[hadoop@node01 install]$ scp -r hbase-2.2.6/ node03:/hc/install5、创建软连接注意:三台机器均做如下操作因为HBase集群需要读取hadoop的core-site.xml、hdfs-site.xml的配置⽂件信息,所以我们三台机器都要执⾏以下命令,在相应的⽬录创建这两个配置⽂件的软连接ln -s /hc/install/hadoop-3.1.4/etc/hadoop/core-site.xml /hc/install/hbase-2.2.6/conf/core-site.xmlln -s /hc/install/hadoop-3.1.4/etc/hadoop/hdfs-site.xml /hc/install/hbase-2.2.6/conf/hdfs-site.xml执⾏完后,出现如下效果,以node01为例6、添加HBase环境变量注意:三台机器均执⾏以下命令,添加环境变量sudo vim /etc/profile⽂件末尾添加如下内容export HBASE_HOME=/hc/install/hbase-2.2.6export PATH=$PATH:$HBASE_HOME/bin重新编译/etc/profile,让环境变量⽣效source /etc/profile7、HBase的启动与停⽌需要提前启动HDFS及ZooKeeper集群如果没开启hdfs,请在node01运⾏start-dfs.sh命令如果没开启zookeeper,请在3个节点分别运⾏zkServer.sh start命令第⼀台机器node01(HBase主节点)执⾏以下命令,启动HBase集群[hadoop@node01 ~]$ start-hbase.sh启动完后,jps查看HBase相关进程node01、node02上有进程HMaster、HRegionServernode03上有进程HRegionServer警告提⽰:HBase启动的时候会产⽣⼀个警告,这是因为jdk7与jdk8的问题导致的,如果linux服务器安装jdk8就会产⽣这样的⼀个警告可以注释掉所有机器的hbase-env.sh当中的“HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置来解决这个问题。
Hbase的安装与基本操作简介:1安装 HBase本节介绍HBase的安装⽅法,包括下载安装⽂件、配置环境变量、添加⽤户权限等。
1.1 下载安装⽂件HBase是Hadoop⽣态系统中的⼀个组件,但是,Hadoop安装以后,本⾝并不包含HBase,因此,需要单独安装HBase。
hbase-1.1.5-bin.tar.gz假设已经下载了HBase安装⽂件hbase-1.1.5-bin.tar.gz,被放到了Linux系统的“/home/hadoop/下载/”⽬录下。
进⼊下载⽬录,需要对⽂件进⾏解压。
按照Linux系统使⽤的默认规范,⽤户安装的软件⼀般都是存放在“/usr/local/”⽬录下。
$ cd ~/下载$ sudo tar -zxf ~/下载/hbase-1.1.5-bin.tar.gz -C /usr/local将解压的⽂件名hbase-1.1.5改为hbase,以⽅便使⽤,命令如下:$ sudo mv /usr/local/hbase-1.1.5 /usr/local/hbase1.2 配置环境变量将HBase安装⽬录下的bin⽬录(即/usr/local/hbase/bin)添加到系统的PATH环境变量中,这样,每次启动HBase时就不需要到“/usr/local/hbase”⽬录下执⾏启动命令,⽅便HBase的使⽤。
请使⽤vim编辑器打开“~/.bashrc”⽂件,命令如下:$ vim ~/.bashrc⽂件以后,添加添加PATH路径时只需要加上":路径"即可,下⾯这条命令是添加了三条路径,配置的是hadoop和hbasd的打开.bashrc⽂件以后,启动路径export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hbase/bin添加后,执⾏如下命令使设置⽣效:$ source ~/.bashrc1.3 添加⽤户权限需要为当前登录Linux系统的hadoop⽤户(我的⽤户是msq)添加访问HBase⽬录的权限,将HBase安装⽬录下的所有⽂件的所有者改为msq,命令如下:$ cd /usr/local$ sudo chown -R msq ./hbase1.4 查看HBase版本信息可以通过如下命令查看HBase版本信息,以确认HBase已经安装成功:$ /usr/local/hbase/bin/hbase version2 HBase的配置HBase有三种运⾏模式,即单机模式、伪分布式模式和分布式模式:单机模式:采⽤本地⽂件系统存储数据;伪分布式模式:采⽤伪分布式模式的HDFS存储数据;分布式模式:采⽤分布式模式的HDFS存储数据。