Hbase安装配置文档

Hadoop+Zookeeper+HBase安装指南RUC DB-IIR 卞昊穹/bhq2010bianhaoqiong@2012.07.28-Version1集群情况：4个节点，IP分别为：node0: 192.168.181.136(NameNode/JobTracker/SecondaryNameNode/HMaster)node1: 192.168.181.132(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)node2: 192.168.181.133(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)node3: 192.168.181.134(DataNode/TaskTracker/HRegionServer/QuorumPeerMain)软件版本：CentOS Linux 6.2 x86_64(2.6.32)OpenJDK-1.6.0_24Hadoop-1.0.2Zookeeper-3.4.3HBase-0.94.0目录1. hosts和hostname设置 (2)2. SSH设置 (2)3. Hadoop配置安装 (3)4. Zookeeper配置安装 (5)5. HBase配置安装 (6)1. hosts和hostname设置安装分布式的Hadoop和HBase集群需要在每一个节点上都设置网络中的hosts和本机的hostname。

首先将/etc/hosts文件中127.0.0.1这一行的中间一段改为本机的主机名，并在文件末尾添加hosts配置，每行为一个ip地址和对应的主机名，以空格分隔。

以node0为例，修改后的hosts 文件如下：再将/etc/sysconfig/network文件中HOSTNAME=一行中“=”之后内容改为主机名，如：2. SSH设置之后，在node0生成ssh公钥，添加到node1/2/3的~/.ssh/authorized_keys文件中以实现node0无密码登录node1/2/3，参考：/bhq2010/article/details/6845985此处node0是ssh客户端，node1/2/3是ssh服务器端。

HBASE 安装一、安装指南二、常见问题一、安装指南Hadoop+Hbase安装配置实录2010-10-12 22:53生产环境：3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意：hostname设置为master/slave1/slave2操作系统：rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作和以下相同)vi /etc/hosts192.168.0.61 master192.168.0.62 slave1192.168.0.63 slave22.用root操作3.免密码登录#ssh-keygen -t rsa #建立ssh目录,敲回车到底 ,这一步需要先在每台机器上执行。

在master上#scp ~/.ssh/id_rsa.pub root@slave1:/root/.ssh/id_rsa.pub_m将master 上的密钥传到slave1的/home/hadoop下在slave1上#cat /root/.ssh/id_rsa.pub_m >> ~/.ssh/authorized_keys#chmod 644 ~/.ssh/authorized_keys反复操作第3步，完成master<-->slave1 master<-->slave2的免密码登录这样主节点和从节点之间就可以不用密码直接ssh访问，另外，在启动hadoop 时需要master ssh master，因此，在master的~/.ssh下，也执行下cat id_rsa.pub >> authorized_keys 即可。

4.安装JDK到/usr/local下命名为jdk6然后：编辑三台机器的/etc/profile,增加如下内容export JAVA_HOME=/usr/local/jdk6export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport HADOOP_HOME=/hadoop/hadoopexport HBASE_HOME=/hadoop/hbasePATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin#vi /root/.bashrc增加export HADOOP_CONF_DIR=/hadoop/hadoop-configexport HBASE_CONF_DIR=/hadoop/hbase-config5、防火墙各机器加入iptables策略：#iptables -I INPUT -s 192.168.0.0/255.255.255.0 -j ACCPET#service iptables save-----------------------------------------hadoop配置:1.下载安装#cd /hadoop#wget/apache-mirror//hadoop/core/hadoop-0.20.2/hadoo p-0.20.2.tar.gz#tar -zxvf hadoop-0.20.2.tar.gz#ln -s hadoop-0.20.2 hadoop由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，/hadoop/hadoop-config/，然后将 /hadoop/hadoop/conf/目录中的core-site.xml,slaves,hadoop-env.sh,masters, hdfs-site.xml,mapred-site.xml，这6个文件拷贝到 /hadoop/hadoop-config/目录中，并指定环境变量$HADOOP_CONF_DIR指向该目录。

1. 解压：tar -zxvf hbase-1.0.1.1-bin.tar.gz –C /home/hadoop2.x/ chown –R hadoop2.x:hadoop2.x home/hadoop2.x/hbase-1.0.1.1/2. 配置环境变量export HBASE=/home/hadoop2.x/hbase-1.0.1.1PATH=$PATH:$HBASE/bin3. 新建文件mkdir –p /home/hadoop2.x/hbase-1.0.1.1/hbasemkdir –p /home/hadoop2.x/hbase-1.0.1.1/data4. 修改配置文件hbase-env.shexport JAVA_HOME=/home/hadoop2.x/java/jdk1.7.0_25export HBASE_CLASSPATH=/home/hadoop2.x/hbase-1.0.1.1/conf export HBASE_MANAGES_ZK=false //不使用自带的zookeeperhbase-site.xml<property><name>hbase.rootdir</name><value>hdfs://h180:9000/hbase</value></property><property><name>hbase.rootdir</name><value>hdfs://h180:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.quorum</name><value>h180,h181,h182</value></property><property><name>hbase.tmp.dir</name><value>file:/home/hadoop2.x/hbase-1.0.1.1/hbase</value></property><property><name>hbase.master</name><value>hdfs://h180:60000</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>file:/home/hadoop2.x/hbase-1.0.1.1/data</value></property>regionserversh181h1825. 分发到其它的机器scp -r /home/hadoop/hbase-1.0.1.1 hadoop2.x@hadoop02:/home/hadoop/ scp -r /home/hadoop/hbase-1.0.1.1 hadoop2.x@hadoop03:/home/hadoop/6. 启动 hbase启动 hbase 时要确保 hadoop,zokeeper启动。

HBase官方文档Copyright © 2010 Apache Software Foundation,盛大游戏-数据仓库团队-颜开(译)Abstract这是Apache HBase的官方文档, Hbase是一个分布式,版本化(versioned)，构建在Apache Hadoop和Apache ZooKeeper上的列数据库.我(译者)熟悉Hbase的源代码，从事Hbase的开发运维工作，如果有什么地方不清楚，欢迎一起讨论。

邮箱yankaycom@Table of Contents序1. 入门1.1. 介绍1.2. 快速开始1.2.1. 下载解压最新版本1.2.2. 启动 HBase1.2.3. Shell 练习1.2.4. 停止 HBase1.2.5. 下一步该做什么1.3. 慢速开始(相对快速开始)1.3.1. 需要的软件1.3.2. HBase运行模式:单机和分布式1.3.3. 配置例子2. 升级2.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x3. 配置3.1. hbase-site.xml 和 hbase-default.xml3.1.1. HBase 默认配置3.2. hbase-env.sh3.3. log4j.properties3.4. 重要的配置3.5. 必须的配置3.6. 推荐的配置3.6.1. zookeeper.session.timeout3.6.2. hbase.regionserver.handler.count3.6.3. 大内存机器的配置3.6.4. LZO 压缩3.6.5. 更大的 Regions3.6.6. 管理 Splitting3.7. 连接Hbase集群的客户端配置和依赖3.7.1. Java客户端配置4. The HBase Shell4.1. 使用脚本4.2. Shell 技巧4.2.1. irbrc4.2.2. LOG 时间转换4.2.3. Debug5. 构建 HBase5.1. 将一个 HBase release 加入到 Apache's Maven Repository6. Developers6.1. IDEs6.1.1. Eclipse6.2. 单元测试6.2.1. Mocito7. HBase 和 MapReduce7.1. 默认 HBase MapReduce 分割器(Splitter)7.2. HBase Input MapReduce 例子7.3. 在一个MapReduce Job中访问其他的HBase Tables7.4. 预测执行8. HBase 的 Schema 设计8.1. Schema 创建8.2. column families的数量8.3. 单调递增Row Keys/时序数据(log)8.4. 尽量最小化row和column的大小8.5. 版本的时间9. Metrics9.1. Metric 安装9.2. RegionServer Metrics9.2.1. hbase.regionserver.blockCacheCount9.2.2. hbase.regionserver.blockCacheFree9.2.3. hbase.regionserver.blockCacheHitRatio9.2.4. hbase.regionserver.blockCacheSize9.2.5. pactionQueueSize9.2.6. hbase.regionserver.fsReadLatency_avg_time9.2.7. hbase.regionserver.fsReadLatency_num_ops9.2.8. hbase.regionserver.fsSyncLatency_avg_time9.2.9. hbase.regionserver.fsSyncLatency_num_ops9.2.10. hbase.regionserver.fsWriteLatency_avg_time9.2.11. hbase.regionserver.fsWriteLatency_num_ops9.2.12. hbase.regionserver.memstoreSizeMB9.2.13. hbase.regionserver.regions9.2.14. hbase.regionserver.requests9.2.15. hbase.regionserver.storeFileIndexSizeMB9.2.16. hbase.regionserver.stores9.2.17. hbase.regionserver.storeFiles10. 跨集群复制11. 数据模型11.1. 概念视图11.2. 物理视图11.3. 表11.4. 行11.5. Column Family11.6. Cells11.7. 版本11.7.1. Hbase的操作(包含版本操作)11.7.2. 现有的限制12. 架构12.1. 客户端12.1.1. 连接12.1.2. 写缓冲和批量操作12.1.3. Filters12.2. Daemons12.2.1. Master12.2.2. RegionServer12.3. Regions12.3.1. Region大小12.3.2. Region Splits12.3.3. Region负载均衡12.3.4. Store12.4. Write Ahead Log (WAL)12.4.1. 目的12.4.2. WAL Flushing12.4.3. WAL Splitting13. 性能调优13.1. Java13.1.1. 垃圾收集和HBase13.2. 配置13.2.1. Regions的数目13.2.2. 管理压缩13.2.3. 压缩13.2.4. hbase.regionserver.handler.count13.2.5. hfile.block.cache.size13.2.6. hbase.regionserver.global.memstore.upperLimit13.2.7. hbase.regionserver.global.memstore.lowerLimit13.2.8. hbase.hstore.blockingStoreFiles13.2.9. hbase.hregion.memstore.block.multiplier13.3. Column Families的数目13.4. 数据聚集13.5. 批量Loading13.5.1. Table创建: 预创建Regions13.6. HBase客户端13.6.1. AutoFlush13.6.2. Scan Caching13.6.3. Scan 属性选择13.6.4. 关闭 ResultScanners13.6.5. 块缓存13.6.6. Row Keys的负载优化14. Bloom Filters14.1. 配置14.1.1. HColumnDescriptor 配置14.1.2. io.hfile.bloom.enabled 全局关闭开关14.1.3. io.hfile.bloom.error.rate14.1.4. io.hfile.bloom.max.fold14.2. Bloom StoreFile footprint14.2.1. StoreFile中的BloomFilter， FileInfo数据结构14.2.2. 在 StoreFile 元数据中的BloomFilter entries15. Hbase的故障排除和Debug15.1. 一般准则15.2. Logs15.2.1. Log 位置15.3. 工具15.3.1. 15.3.2. tail15.3.3. top15.3.4. jps15.3.5. jstack15.3.6. OpenTSDB15.3.7. clusterssh+top15.4. 客户端15.4.1. ScannerTimeoutException15.5. RegionServer15.5.1. 启动错误15.5.2. 运行时错误15.5.3. 终止错误15.6. Master15.6.1. 启动错误15.6.2. 终止错误A. 工具A.1. HBase hbckA.2. HFile 工具A.3. WAL ToolsA.3.1. HLog 工具A.4. 压缩工具A.5. Node下线A.5.1. 依次重启B. HBase中的压缩B.1. 测试压缩工具B.2. hbase.regionserver.codecsB.3. LZOB.4. GZIPC. FAQD. YCSB: 雅虎云服务测试和HbaseIndexList of Tables11.1. 表 webtable11.2. ColumnFamily anchor11.3. ColumnFamily contents序这本书是HBase的官方指南。

Hadoop、Zookeeper、Hbase、Hive集群安装配置手册运行环境机器配置虚机CPU E5504*2 (4核心)、内存 4G、硬盘25G进程说明QuorumPeerMain ZooKeeper ensemble member DFSZKFailoverController Hadoop HA进程，维持NameNode高可用 JournalNode Hadoop HA进程，JournalNode存储EditLog,每次写数据操作有大多数(>=N+1)返回成功时即认为该次写成功,保证数据高可用 NameNode Hadoop HDFS进程，名字节点DataNode HadoopHDFS进程， serves blocks NodeManager Hadoop YARN进程，负责 Container 状态的维护，并向 RM 保持心跳。

ResourceManager Hadoop YARN进程，资源管理 JobTracker Hadoop MR1进程，管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。

TaskTracker Hadoop MR1进程，manages the local Childs RunJar Hive进程HMaster HBase主节点HRegionServer HBase RegionServer, serves regions JobHistoryServer 可以通过该服务查看已经运行完的mapreduce作业记录应用 服务进程 主机/hostname 系统版本mysql mysqld10.12.34.14/ Centos5.810.12.34.15/h15 Centos5.8 HadoopZookeeperHbaseHiveQuorumPeerMainDFSZKFailoverControllerNameNodeNodeManagerRunJarHMasterJournalNodeJobHistoryServerResourceManagerDataNodeHRegionServer10.12.34.16/h16 Centos5.8 HadoopZookeeperHbaseHiveDFSZKFailoverControllerQuorumPeerMainHMasterJournalNodeNameNodeResourceManagerDataNodeHRegionServerNodeManager10.12.34.17/h17 Centos5.8 HadoopZookeeperHbaseHiveNodeManagerDataNodeQuorumPeerMainJournalNodeHRegionServer环境准备1.关闭防火墙15、16、17主机：# service iptables stop2.配置主机名a) 15、16、17主机：# vi /etc/hosts添加如下内容：10.12.34.15 h1510.12.34.16 h1610.12.34.17 h17b) 立即生效15主机：# /bin/hostname h1516主机：# /bin/hostname h1617主机：# /bin/hostname h173. 创建用户15、16、17主机：# useraddhduser密码为hduser# chown -R hduser:hduser /usr/local/4.配置SSH无密码登录a)修改SSH配置文件15、16、17主机：# vi /etc/ssh/sshd_config打开以下注释内容：#RSAAuthentication yes#PubkeyAuthentication yes#AuthorizedKeysFile .ssh/authorized_keysb)重启SSHD服务15、16、17主机：# service sshd restartc)切换用户15、16、17主机：# su hduserd)生成证书公私钥15、16、17主机：$ ssh‐keygen ‐t rsae)拷贝公钥到文件（先把各主机上生成的SSHD公钥拷贝到15上的authorized_keys文件，再把包含所有主机的SSHD公钥文件authorized_keys拷贝到其它主机上）15主机：$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys16主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'17主机：$cat ~/.ssh/id_rsa.pub | ssh hduser@h15 'cat >> ~/.ssh/authorized_keys'15主机：# cat ~/.ssh/authorized_keys | ssh hduser@h16 'cat >> ~/.ssh/authorized_keys'# cat ~/.ssh/authorized_keys | ssh hduser@h17 'cat >> ~/.ssh/authorized_keys'5.Mysqla) Host10.12.34.14:3306b) username、passwordhduser@hduserZookeeper使用hduser用户# su hduser安装（在15主机上）1.下载/apache/zookeeper/2.解压缩$ tar ‐zxvf /zookeeper‐3.4.6.tar.gz ‐C /usr/local/配置（在15主机上）1.将zoo_sample.cfg重命名为zoo.cfg$ mv /usr/local/zookeeper‐3.4.6/conf/zoo_sample.cfg /usr/local/zookeeper‐3.4.6/conf/zoo.cfg2.编辑配置文件$ vi /usr/local/zookeeper‐3.4.6/conf/zoo.cfga)修改数据目录dataDir=/tmp/zookeeper修改为dataDir=/usr/local/zookeeper‐3.4.6/datab)配置server添加如下内容：server.1=h15:2888:3888server.2=h16:2888:3888server.3=h17:2888:3888server.X=A:B:C说明：X：表示这是第几号serverA：该server hostname/所在IP地址B：该server和集群中的leader交换消息时所使用的端口C：配置选举leader时所使用的端口3.创建数据目录$ mkdir /usr/local/zookeeper‐3.4.6/data4.创建、编辑文件$ vi /usr/local/zookeeper‐3.4.6/data/myid添加内容（与zoo.cfg中server号码对应）：1在16、17主机上安装、配置1.拷贝目录$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.16:/usr/local/$ scp ‐r /usr/local/zookeeper‐3.4.6/ hduser@10.12.34.17:/usr/local/2.修改myida)16主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1 修改为2b)17主机$ vi /usr/local/zookeeper‐3.4.6/data/myid1修改为3启动$ cd /usr/local/zookeeper‐3.4.6/$./bin/zkServer.sh start查看状态：$./bin/zkServer.sh statusHadoop使用hduser用户# su hduser安装（在15主机上）一、安装Hadoop1.下载/apache/hadoop/common/2.解压缩$ tar ‐zxvf /hadoop‐2.4.0.tar.gz ‐C /usr/local/二、 编译本地库，主机必须可以访问internet。

目录1. 前言 (2)2. 准备工作 (2)2.1. 下载Hadoop (2)2.2. 下载hadoop-common (3)2.3. 下载Hbase (3)2.4. 下载JDK (4)3. 环境配置 (4)3.1. 将下载好的3个压缩包分别解压缩 (4)3.2. 覆盖文件 (6)3.3. 安装JDK (7)3.3.1. 配置JAVA环境变量 (8)3.3.2. 测试JDK安装是否成功 (11)4. 配置Hadoop (11)4.1. hadoop-env.cmd (12)4.2. core-site.xml (13)4.3. hdfs-site.xml (14)4.4. 创建mapred-site.xml (15)4.5. yarn-site.xml (18)5. 启动Hadoop (20)5.1. 以管理员身份运行CMD命令提示符 (20)5.2. 切换到hadoop目录 (21)5.3. 运行hadoop-env.cmd脚本 (21)5.4. 格式化HDFS文件系统 (21)5.5. 启动HDFS (22)5.6. 遇到异常 (23)5.6.1. 解决方案 (23)5.7. 停止Hadoop (25)6. 配置Hbase (26)6.1. 编辑hbase-site.xml (26)6.2. 编辑hbase-env.cmd (27)7. 启动Hbase (28)8. Hbase Shell (31)8.1. 用shell连接HBase (31)8.2. 使用shell (31)8.2.1. 创建表 (31)8.2.2. Scan表 (32)8.2.3. Get一行 (33)8.2.4. 删除表 (33)8.2.5. 关闭shell (34)8.2.6. 停止Hbase (34)9. Java API Hbase (35)1.前言工作需要，现在开始做大数据开发了，通过下面的配置步骤，你可以在win10系统中，部署出一套hadoop+hbase，便于单机测试调试开发。

编辑hbase-site.xml文件的方法一、引言HBase是一个开源的、分布式的、可扩展的NoSQL数据库，常用于大数据存储和处理。

hbase-site.xml文件是HBase的配置文件，用于设置HBase的各项参数。

本文将介绍如何编辑hbase-site.xml文件。

二、编辑前的准备工作1. 确认你已经安装并正确配置了HBase环境。

2. 确保你有对HBase配置文件（hbase-site.xml）的写入权限。

1. 打开HBase的配置目录，通常在HBase的安装目录下的"conf"文件夹中。

2. 找到并打开hbase-site.xml文件。

如果文件不存在，你可以创建一个新的。

3. 使用文本编辑器（如Notepad++、Sublime Text等）打开文件，确保文件的编码格式为UTF-8。

4. 开始编辑文件，根据需要修改各项参数。

以下是一些常见的参数及其说明：a. <property>标签下的各个属性，如hbase.rootdir，用于设置HBase的数据存储位置；b. regionserver.wal禄限一址大小，用于设置HBase的数据备份大小；c. maxattempts，用于设置处理任务的最大失败次数；d. master.http-port，用于设置HBase的主服务器的HTTP端口等。

5. 在修改完所有参数后，保存并关闭文件。

6. 在HBase中重启HBase服务以使新的配置生效。

四、注意事项1. 在修改配置文件时，请务必仔细阅读并理解每个参数的含义和影响，再进行修改。

2. 修改后的配置文件应当备份，以防意外情况发生。

3. 如果你对HBase的配置不熟悉，建议在修改前咨询专业人士或查阅相关文档。

4. 在修改过程中，如果遇到任何问题，请及时停止并寻求帮助。

五、总结编辑hbase-site.xml文件是HBase系统管理中非常重要的一步，它直接影响到HBase的运行效率和稳定性。

安装和配置HBase需要按照以下步骤进行：
1. 解压安装包：将HBase安装包解压到指定的目录中。

2. 重命名路径：将解压后的路径重命名为HBase的根目录。

3. 添加环境变量：将HBase的根目录添加到系统的环境变量中，以便在命令行中访问HBase。

4. 配置hbase-env.sh文件：打开HBase根目录下的conf文件夹，找到hbase-env.sh文件，修改其中的配置项，例如HBASE_HEAPSIZE 等。

5. 配置hbase-site.xml文件：打开HBase根目录下的conf文件夹，找到hbase-site.xml文件，修改其中的配置项，例如HBASE_HOME、HBASE_ZOOKEEPER_QUORUM等。

6. 配置regionservers文件：打开HBase根目录下的conf文件夹，找到regionservers文件，添加需要运行的regionserver节点的主机名。

7. 创建hbase.tmp.dir目录：在HBase根目录下创建一个临时目录，用于存储HBase运行时产生的临时文件。

8. 将文件分发到slave节点：将HBase的安装包和配置文件分发到其他slave节点上，以便这些节点可以运行HBase。

9. 修改hbase目录权限：在所有节点上修改HBase目录的权限，确保只有指定的用户可以访问和修改HBase的目录和文件。

完成以上步骤后，您已经成功安装和配置了HBase。

您可以使用HBase 提供的命令行工具或API进行基本操作，例如创建表、插入数据、查询数据等。

熟悉常用的hbase操作实验报告-回复熟悉常用的HBase操作实验报告一、引言HBase是一个面向大数据存储和处理的分布式数据库，其具有高可靠性、高性能、高可扩展性等特点。

本实验报告旨在通过实践来熟悉常用的HBase操作，掌握其基本使用方法和操作流程。

二、实验环境搭建1. 安装HBase首先，我们需要在一台服务器上安装HBase，可以通过从官网下载二进制文件并解压缩来完成安装。

2. 配置HBase在安装完成后，我们需要进行一些配置。

首先，打开`hbase-site.xml`文件进行配置，包括指定Zookeeper的地址，配置HBase的根目录等。

3. 启动HBase在安装和配置完成后，使用`start-hbase.sh`命令启动HBase。

三、HBase基本操作1. 创建表使用HBase shell工具，可以通过`create`命令来创建表。

例如：create 'student', 'info', 'scores'以上命令创建了一个名为`student`的表，该表包括两个列族`info`和`scores`。

2. 插入数据使用`put`命令可以向表中插入数据。

例如：put 'student', '001', 'info:name', 'Tom'put 'student', '001', 'info:age', '18'put 'student', '001', 'scores:math', '95'以上命令向`student`表中插入了一条记录，该记录的行键为`001`，包括列`info:name`、`info:age`和`scores:math`，其对应的值分别为`Tom`、`18`和`95`。