当前位置：文档之家 › HBase shell的基本用法

HBase shell的基本用法

  • 格式：docx
  • 大小：24.37 KB
  • 文档页数：5

HBase shell的基本用法hbase提供了一个shell的终端给用户交互。

使用命令hbase shell进入命令界面。

通过执行help可以看到命令的帮助信息。

以网上的一个学生成绩表的例子来演示hbase的用法。

这里grad对于表来说是一个只有它自己的列族,course对于表来说是一个有两个列的列族,这个列族由两个列组成math和art,当然我们可以根据我们的需要在course中建立更多的列族,如computer,physics等相应的列添加入course列族。

(1)建立一个表scores，有两个列族grad和couresehbase(main):001:0> create 'scores','grade', 'course'可以使用list命令来查看当前HBase里有哪些表。

使用describe命令来查看表结构。

（记得所有的表明、列名都需要加上引号）(2)按设计的表结构插入值：put 'scores','Tom','grade:','5'put 'scores','Tom','course:math','97'put 'scores','Tom','course:art','87'put 'scores','Jim','grade','4'put 'scores','Jim','course:math','89'put 'scores','Jim','course:art','80'这样表结构就起来了，其实比较自由，列族里边可以自由添加子列很方便。

如果列族下没有子列，加不加冒号都是可以的。

(3)根据键值查询数据get 'scores','Jim'get 'scores','Jim','grade'get 'scores','Jim','course' （列族有多列的话要用scan获取所有记录【scan 'scores',{COLUMNS => 'course'}】，用get只得到最新加入列族的一条记录）get 'scores','Jim','course:math' （这样可以）可能你就发现规律了，HBase的shell操作，一个大概顺序就是操作关键词后跟表名，行名，列名这样的一个顺序，如果有其他条件再用花括号加上。

get有用法如下：hbase> get 't1', 'r1'hbase> get 't1', 'r1', {TIMERANGE => [ts1, ts2]}hbase> get 't1', 'r1', {COLUMN => 'c1'}hbase> get 't1', 'r1', {COLUMN => ['c1', 'c2', 'c3']}hbase> get 't1', 'r1', {COLUMN => 'c1', TIMESTAMP => ts1}hbase> get 't1', 'r1', {COLUMN => 'c1', TIMERANGE => [ts1, ts2], VERSIONS => 4}hbase> get 't1', 'r1', {COLUMN => 'c1', TIMESTAMP => ts1, VERSIONS => 4}hbase> get 't1', 'r1', 'c1'hbase> get 't1', 'r1', 'c1', 'c2'hbase> get 't1', 'r1', ['c1', 'c2'](4)扫描所有数据scan 'scores'也可以指定一些修饰词：TIMERANGE, FILTER, LIMIT, STARTROW, STOPROW, TIMESTAMP, MAXLENGTH,or COLUMNS。

没任何修饰词，就是上边例句，就会显示所有数据行。

例句如下：hbase> scan '.META.'hbase> scan '.META.', {COLUMNS => 'info:regioninfo'}hbase> scan 't1', {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW => 'xyz'}hbase> scan 't1', {COLUMNS => 'c1', TIMERANGE => [1303668804, 1303668904]}hbase> scan 't1', {FILTER => "(PrefixFilter ('row2') AND (QualifierFilter (>=, 'binary:xyz'))) AND (TimestampsFilter ( 123, 456))"}hbase> scan 't1', {FILTER => org.apache.hadoop.hbase.filter.ColumnPaginationFilter.new(1, 0)}过滤器filter有两种方法指出：a. Using a filterString - more information on this is available in theFilter Language document attached to the HBASE-4176 JIRAb. Using the entire package name of the filter.还有一个CACHE_BLOCKS修饰词，开关scan的缓存的，默认是开启的（CACHE_BLOCKS=>true），可以选择关闭（CACHE_BLOCKS=>false）。

(5)删除指定数据delete 'scores','Jim','grade'delete 'scores','Jim'删除数据命令也没太多变化，只有一个：hbase> delete 't1', 'r1', 'c1', ts1另外有一个deleteall命令，可以进行整行的范围的删除操作，慎用！如果需要进行全表删除操作，就使用truncate命令，其实没有直接的全表删除命令，这个命令也是disable，drop，create三个命令组合出来的。

(6)修改表结构disable 'scores'alter 'scores',NAME=>'info'enable 'scores'alter命令使用如下（如果无法成功的版本，需要先通用表disable）：a、改变或添加一个列族：hbase> alter 't1', NAME => 'f1', VERSIONS => 5b、删除一个列族：hbase> alter 't1', NAME => 'f1', METHOD => 'delete'hbase> alter 't1', 'delete' => 'f1'c、也可以修改表属性如MAX_FILESIZEMEMSTORE_FLUSHSIZE, READONLY,和DEFERRED_LOG_FLUSH：hbase> alter 't1', METHOD => 'table_att', MAX_FILESIZE => '134217728'd、可以添加一个表协同处理器hbase> alter 't1', METHOD => 'table_att', 'coprocessor'=>'hdfs:///foo.jar|com.foo.FooRegionObserver|1001|arg1=1,arg2=2'一个表上可以配置多个协同处理器，一个序列会自动增长进行标识。

加载协同处理器（可以说是过滤程序）需要符合以下规则：[coprocessor jar file location] | class name | [priority] | [arguments]e、移除coprocessor如下：hbase> alter 't1', METHOD => 'table_att_unset', NAME => 'MAX_FILESIZE'hbase> alter 't1', METHOD => 'table_att_unset', NAME => 'coprocessor$1'f、可以一次执行多个alter命令：hbase> alter 't1', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}(7)统计行数：hbase> count 't1'hbase> count 't1', INTERVAL => 100000hbase> count 't1', CACHE => 1000hbase> count 't1', INTERVAL => 10, CACHE => 1000count一般会比较耗时，使用mapreduce进行统计，统计结果会缓存，默认是10行。

合集下载

Hbaseshell命令基本操作

Hbaseshell命令基本操作

Hbaseshell命令基本操作Hbase shell命令基本操作1、进⼊Hbase shell客户端命令操作界⾯如果配置过hbase环境变量hbase shell如果没有配置过环境变量# 进⼊hbase⽂件夹中cd /hc/install/hbase-2.2.6/bin/hbase shell2、help帮助命令help# 查看具体命令的帮助信息help 'create'3、list查看有哪些表list4、create创建表创建user表，包含info、data两个列族使⽤create命令create 'user', 'info', 'data'#或者create 'user',{NAME => 'info', VERSIONS => '3'},{NAME => 'data'}5、put 插⼊数据操作向表中插⼊数据使⽤put命令#向user表中插⼊信息，row key为rk0001，列族info中添加名为name的列，值为zhangsanput 'user', 'rk0001', 'info:name', 'zhangsan'#向user表中插⼊信息，row key为rk0001，列族info中添加名为gender的列，值为femaleput 'user', 'rk0001', 'info:gender', 'female'#向user表中插⼊信息，row key为rk0001，列族info中添加名为age的列，值为20put 'user', 'rk0001', 'info:age', 20#向user表中插⼊信息，row key为rk0001，列族data中添加名为pic的列，值为pictureput 'user', 'rk0001', 'data:pic', 'picture'6、查询数据操作6.1 通过rowkey进⾏查询获取user表中row key为rk0001的所有信息（即所有cell的数据）使⽤get命令get 'user', 'rk0001'6.2 查看rowkey下某个列族的信息获取user表中row key为rk0001，info列族的所有信息get 'user', 'rk0001', 'info'6.3 查看rowkey指定列族指定字段的值获取user表中row key为rk0001，info列族的name、age列的信息get 'user', 'rk0001', 'info:name', 'info:age'6.4 查看rowkey指定多个列族的信息获取user表中row key为rk0001，info、data列族的信息get 'user', 'rk0001', 'info', 'data'#或者你也可以这样写get 'user', 'rk0001', {COLUMN => ['info', 'data']}#或者你也可以这样写，也⾏get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}6.5 指定rowkey与列值过滤器查询获取user表中row key为rk0001，cell的值为zhangsan的信息get 'user', 'rk0001', {FILTER => "ValueFilter(=, 'binary:zhangsan')"}4.6.6 指定rowkey与列名模糊查询获取user表中row key为rk0001，列标⽰符中含有a的信息get 'user', 'rk0001', {FILTER => "QualifierFilter(=,'substring:a')"}6.7 查询所有⾏的数据查询user表中的所有信息使⽤scan命令scan 'user'6.8 列族查询查询user表中列族为info的信息scan 'user', {COLUMNS => 'info'}#当把某些列的值删除后，具体的数据并不会马上从存储⽂件中删除；查询的时候，不显⽰被删除的数据；如果想要查询出来的话，RAW => true scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 3}6.9 多列族查询查询user表中列族为info和data的信息scan 'user', {COLUMNS => ['info', 'data']}6.10 指定列族与某个列名查询查询user表中列族为info、列标⽰符为name的信息scan 'user', {COLUMNS => 'info:name'}查询info:name列、data:pic列的数据scan 'user', {COLUMNS => ['info:name', 'data:pic']}查询user表中列族为info、列标⽰符为name的信息,并且版本最新的5个scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}6.11 指定多个列族与条件模糊查询查询user表中列族为info和data且列标⽰符中含有a字符的信息scan 'user', {COLUMNS => ['info', 'data'], FILTER => "QualifierFilter(=,'substring:a')"}6.12 指定rowkey的范围查询查询user表中列族为info，rk范围是[rk0001, rk0003)的数据scan 'user', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}6.13 指定rowkey模糊查询查询user表中row key以rk字符开头的数据scan 'user',{FILTER=>"PrefixFilter('rk')"}6.14 指定数据版本的范围查询查询user表中指定范围的数据（前闭后开）scan 'user', {TIMERANGE => [1392368783980, 1610288780669]}7、更新数据操作7.1 更新数据值更新操作同插⼊操作⼀模⼀样，只不过有数据就更新，没数据就添加使⽤put命令7.2 更新版本号将user表的info列族版本数改为5alter 'user', NAME => 'info', VERSIONS => 58、删除数据以及删除表操作8.1 指定rowkey以及列名进⾏删除删除user表row key为rk0001，列标⽰符为info:name的数据delete 'user', 'rk0001', 'info:name'8.2 指定rowkey，列名以及版本号进⾏删除删除user表row key为rk0001，列标⽰符为info:name，timestamp为1392383705316的数据delete 'user', 'rk0001', 'info:name', 13923837053168.3 删除⼀个列族删除⼀个列族：alter 'user', NAME => 'data', METHOD => 'delete'#或alter 'user', 'delete' => 'info'8.4 清空表数据truncate 'user'8.5 删除表⾸先需要先让该表为disable状态，使⽤命令：disable 'user'然后使⽤drop命令删除这个表drop 'user'(注意：如果直接drop表，会报错：Drop the named table. Table must first be disabled)。

hbaseshell常用命令

hbaseshell常用命令

hbaseshell常⽤命令1、查看读取器状态status2、查看hbase版本version3、创建⼀个表：格式： create 表名，列簇1，列簇2...列簇Ncreate ‘member’,'member_id','address','info'4、查看表描述describe 'member'5、删除⼀个列簇：先关闭，再更新，再打开disable 'member'alter'member',NAME=>'member_id',METHOD=>'delete'enable 'member'6、列出所有表list7、删除⼀个表：先关闭，再删除disable 'member'drop 'member'8、查询表是否存在exists 'member'9、判断表是否enableis_enabled 'member'10、判断表是否disableis_disabled 'member'11、插⼊数据:在列簇中插⼊数据:格式：put 表名，⾏键id，列簇名：列名，值put 'member','xiaoming','address:contry','china'put 'member','xiaoming','address:province','sc'put 'member','xiaoming','address:city','cd'put 'member','xiaoming','info:age','25'put 'member','xiaoming','info:birthday','1992-10-21'put 'member','xiaoming','info:company','alibaba'12、获取⼀个id的所有数据get 'member','xiaoming'13、获取⼀个id，⼀个列族的所有数据get 'member','xubiao','info'14、获取⼀个id，⼀个列族中⼀个列的所有数据get 'member','xiaoming,'info:age'15、更新⼀条记录：给rowId重新put即可,put 'member','xiaoming','info:age','26' // 把xiaoming的age改为2616、通过timestamp来获取两个版本的数据get 'member','xiaoming',{COLUMN=>'info:age',TIMESTAMP=>1510840447626}17、全表扫描scan 'member'18、删除id为xiaomiing的值的'info:age'字段delete 'member','xiaoming','info:age'19、删除整⾏deteleall 'member','xiaoming'20、查询表中有多少⾏count 'member'21、将整张表清空：实际执⾏过程：hbase是先将表disable，然后drop，后重建表，来实现truncate的功能的truncate 'member'总结可以加深印象，同时还能为⼤家提供⽅便。

HBaseShell脚本命令

HBaseShell脚本命令

HBaseShell脚本命令1、启动Hbase整个集群：$HBASE_HOME/bin/start-hbase.shbin/start-hbase.sh前者在服务器任意位置执⾏都ok，后者必须在安装路径下执⾏才有效，其实$HBASE_HOME的作⽤就是调⽤Hbase的安装路径2、停⽌Hbase整个集群：$HBASE_HOME/bin/stop-hbase.shbin/stop-hbase.sh前者在服务器任意位置执⾏都ok，后者必须在安装路径下执⾏才有效3、启动或停⽌，所有的regionserver或zookeeper或backup-master :$HBASE_HOME/bin/hbase-daemons.shbin/hbase-daemons.sh前者在服务器任意位置执⾏都ok，后者必须在安装路径下执⾏才有效4、启动或停⽌，单个master或regionserver或zookeeper :$HBASE_HOME/bin/hbase-daemon.shbin/hbase-daemon.sh前者在服务器任意位置执⾏都ok，后者必须在安装路径下执⾏才有效6、进⼊shell命令模式：$HBASE_HOME/bin/hbase shell7、HBase的⼀些基本操作命令，我列出了⼏个常⽤的HBase Shell命令，如下：8、脚本之间的调⽤关系：（1）、start-hbase.sh流程:a.运⾏hbase-config.sh(hbase-config.sh的作⽤是装载相关配置，如hbase_home⽬录，conf⽬录，regionserver机器列表，java_home⽬录等，他会调⽤$HBASE_HOME/conf/hbase-env.sh)b.解析参数（0.96后的版本可以带唯⼀参数autorestart(重启)）c.调⽤hbase-daemon.sh来启动master；调⽤hbase-daemon.sh来启动regionserver、zookeeper、master-backup9、hbase-env.sh的作⽤：主要配置JVM及其GC参数，还可以配置log⽬录及参数，配置是否需要hbase管理zk，配置进程id⽬录等10、hbase-daemon.sh的作⽤：根据需要启动的进程，eg：为zookeeper，则调⽤zookeepers.sh；为regionserver，则调⽤regionserver.sh；为master-backup，则调⽤master-backup.sh11、zookeeper.sh的作⽤：如果hbase-env.sh中的HBASE_MANAGES_ZK=True/Flase，那么通过ZKServerTool这个类解析xml配置⽂件，获取ZK节点列表（即hbase.zookeeper.quorum的配置值），然后通过ssh向这些节点发送远程命令：cd ${HBASE_HOME}$bin/hbase-daemon.sh --config S{HBASE_CONF_DIR} start/stop zookeeper12、regionserver.sh的作⽤：与zookeepers.sh类似，通过${HBASE_CONF_DIR}/regionservers配置⽂件，获取regionserver机器列表，然后SSH向这些机器发送远程命令：cd ${HBASE_HOME};$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop regionserver13、master-backup.sh的作⽤：通过${HBASE_CONF_DIR}/backup-masters这个配置⽂件，获取backup-masters机器列表（默认配置中，这个配置⽂件是不存在的，所有并不会启动backup-master），然后ssh向这些机器发送远程命令：cd ${HBASE_HOME}$bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop master --backup14、hbase-daemin.sh的作⽤：⽆论是zookeepers.sh还是regionservers.sh或是master-backup.sh，最终都会调⽤本地的hbase-daemon.sh，其执⾏过程如下：(1)、运⾏hbase-config.sh，装载各种配置（java环境、log配置、进程ID⽬录等）(2)、如果是start命令，滚动out输出⽂件，滚动gc⽇志⽂件，⽇志⽂件中输出启动时间+ulimit -a信息，如“Mon Nov 26 10:31:42 CST 2012 Starting master on dwxx.yy.taobao”"..open files (-n) 65536.."(3)、调⽤$HBASE_HOME/bin/hbase start master/regionserver/zookeeper(4)、执⾏wait，等待3中开启的进程结束(5)、执⾏cleanZNode，将regionserver在zk上登记的节点删除，这样做的⽬的是：在regionserver进程意外退出的情况下，可以免去3分钟的ZK⼼跳超时等待，直接由master进⾏宕机恢复(6)、如果是stop命令？根据进程ID，检查进程是否存在；调⽤kill命令，然后等待到进程不存在为⽌(7)、如果是restart命令，调⽤stop后，再调⽤start15、$HBASE_HOME/bin/hbase的作⽤：(1)、可以通过$HBASE_HOME/bin/hbase查看其usage(2)、bin/hbase shell,这个就是常⽤的shell⼯具，运维常⽤的DDL和DML都会通过此进⾏，其具体实现（对hbase的调⽤）是⽤ruby写的(3)、bin/hbase hbck, 运维常⽤⼯具，检查集群的数据⼀致性状态，其执⾏是直接调⽤ org.apache.hadoop.hbase.util.HBaseFsck中的main 函数(4)、bin/hbase hlog, log分析⼯具，其执⾏是直接调⽤org.apache.hadoop.hbase.regionserver.wal.HLogPrettyPrinter中的main函数(5)、bin/hbase hfile， hfile分析⼯具，其执⾏是直接调⽤org.apache.hadoop.hbase.io.hfile.HFile中的main函数(6)、bin/hbase zkcli,查看/管理ZK的shell⼯具，很实⽤，经常⽤，⽐如你可以通过（get /hbase-tianwu-94/master）其得知当前的active master,可以通过（get /hbase-tianwu-94/root-region-server）得知当前root region所在的server，你也可以在测试中通过（delete /hbase-tianwu-94/rs/dwxx.yy.taobao），模拟regionserver与ZK断开连接，其执⾏则是调⽤了org.apache.zookeeper.ZooKeeperMain的main函数(7)、回归到刚才hbase-daemon.sh对此脚本的调⽤为：$HBASE_HOME/bin/hbase start master/regionserver/zookeeper 其执⾏则直接调⽤org.apache.hadoop.hbase.master.HMasterorg.apache.hadoop.hbase.regionserver.HRegionServerorg.apache.hadoop.hbase.zookeeper.HQuorumPeer 的main函数，⽽这些main函数就是了new⼀个了RunnableHMaster/HRegionServer/QuorumPeer，在不停的Running(8)、bin/hbase classpath 打印classpath(9)、bin/hbase version 打印hbase版本信息(10)、bin/hbase CLASSNAME，这个很实⽤，所有实现了main函数的类都可以通过这个脚本来运⾏，⽐如前⾯的hlog hfile hbck⼯具，实质是对这个接⼝的⼀个快捷调⽤，⽽其他未提供快捷⽅式的class我们也可以⽤这个接⼝调⽤，如Region merge 调⽤：$HBASE_HOME/bin/hbase/org.apache.hadoop.hbase.util.Merge16、注意：(1)、hbase-daemon.sh start master 与 hbase-daemon.sh start master --backup，这2个命令的作⽤⼀样的，是否成为backup或active是由master的内部逻辑来控制的(2)、stop-hbase.sh 不会调⽤hbase-daemons.sh stop regionserver 来关闭regionserver，但是会调⽤hbase-daemons.sh stop zookeeper/master-backup来关闭zk和backup master，关闭regionserver实际调⽤的是hbaseAdmin的shutdown接⼝(3)、通过$HBASE_HOME/bin/hbase stop master关闭的是整个集群⽽⾮单个master，只关闭单个master的话使⽤$HBASE_HOME/bin/hbase-daemon.sh stop master(4)、$HBASE_HOME/bin/hbase stop regionserver/zookeeper 不能这么调，调了也会出错，也没有路径会调⽤这个命令，但是可以通过$HBASE_HOME/bin/hbase start regionserver/zookeeper 来启动rs或者zk，hbase-daemon.sh调⽤的就是这个命令。

hbase shell 常用命令

hbase shell 常用命令

hbase shell 常用命令HBase Shell 是用于与 HBase 进行交互的命令行工具。

它提供了丰富的命令来管理和操作 HBase 数据库。

下面会详细介绍一些常用的 HBase Shell 命令。

1. 创建表命令：create 'table_name', 'column_family'这个命令用于创建一个新的表。

你需要指定表的名称和列族名称。

列族是表的主要组成部分，用于组织数据。

2. 查看表列表命令：list使用该命令可以列出当前 HBase 中所有的表。

3. 查看表结构命令：describe 'table_name'此命令用于获取指定表的详细结构信息，包括表名、列族以及相关选项。

4. 插入数据命令：put 'table_name', 'row_key', 'column_family:column', 'value'使用该命令可以向指定的表中插入数据。

你需要提供表名、行键、列族、列和值。

5. 查询数据命令：get 'table_name', 'row_key'通过该命令可以根据行键从指定的表中获取数据。

6. 扫描表命令：scan 'table_name'该命令用于扫描整个表的数据，返回结果包括表中的所有行。

7. 删除数据命令：delete 'table_name', 'row_key', 'column_family:column'使用该命令可以删除表中指定行键和列族的数据。

8. 禁用表命令：disable 'table_name'9. 删除表命令：drop 'table_name'该命令用于永久删除指定的表及其所有相关数据。

10. 退出 HBase Shell：exit使用 exit 命令可以退出 HBase Shell。