HBase环境搭建与基本使用（保姆级教程）

HBase是一个基于Hadoop的分布式、可扩展、支持大数据存储的数据库。

使用场景：需要随机或实时读写大数据的场景

目标：支持数十亿行和数百万列的大表

来源：Google的论文：《 Bigtable: A Distributed Storage System for Structured Data》

底层技术对应关系：

Apache HBase™ is the Hadoop database, a distributed, scalable, big data store.

Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project’s goal is the hosting of very large tables – billions of rows X millions of columns – atop clusters of commodity hardware. Apache HBase is an open-source, distributed, ver+sioned, non-relational database modeled after Google’s Bigtable: A Distributed Storage System for Structured Data by Chang et al. Just as Bigtable leverages the distributed data storage provided by the Google File System, Apache HBase provides Bigtable-like capabilities on top of Hadoop and HDFS.

HBase采用表来组织数据，采用命名空间（NameSpace）对表进行逻辑分组。

NameSpace: 命名空间，类似于mysql中的database，默认有default和hbase，用户表默认在default中

表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族。

行：每个HBase表都由若干行组成，每个行由可排序的**行键（row key）**来标识。

列：采用列族:列限定符的形式确定具体的一列。

单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell），单元格中存储的数据没有数据类型，总被视为字节数组byte[]，所以在定义表时无需定义数据的类型，使用时用户需要自行进行数据类型转换

时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引， HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍然保留（这是和HDFS只允许追加不允许修改的特性相关的）

HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳，在进行数据存储的时，其采用key-value形式：Table + RowKey（升序） + ColumnFamily + Column + Timestamp --> Value

HBase采用主从结构设计，基础存储依赖于HDFS，协调服务依赖于Zookeeper集群，HMaster负责HBase的管理操作，HRegionServer负责数据的相关操作。

客户端（Client）

客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程。

对于管理类操作，Client与HMaster进行RPC

对于数据读写操作，Client与HRegion Server进行RPC

Zookeeper服务器

Zookeeper是Chubby算法的一种开源实现

保证任何时候，集群中只有一个活跃的master，因为为了保证安全性会启动多个Master

存储所有Region的寻址入口

实时监控Region Server的状态，将Region Server的上下线的信息汇报给HMaster。

存储Hbase的元数据（Schema）包括，知道整个Hbase集群中有哪些Table,每个 Table 有哪些column family（列族）

Master服务器

主服务器主要负责表和Region的管理工作, 其实现类为 HMaste ：

对于表的操作：create, delete, alter

对于 RegionServer 的操作：

Region服务器

Region服务器是HBase中最核心的模块，维护Master分配给他的 Region ，其实现类为 HRegionServer ，主要组成如下：

一个Region服务器包含多个Region，这些Region共用一个HLog文件

Region由一个或者多个Store组成，每个Store保存一个 Columns Family。

每个Strore又由一个MemStore和0至多个StoreFile组成。

MemStore存储在内存中，StoreFile存储在HDFS

StoreFile的底层实现是HFile

主要作用如下:

对于数据的操作：get, put, delete

对于 Region 的操作：splitRegion、compactRegion

HBase主要分为如下两种安装模式：

独立模式：HBase不使用HDFS，而是使用本地文件系统代替它在同一个JVM上运行所有HBase守护进程和本地ZooKeeper。

分布模式

本教程主要讲解如何配置伪分布式。

版本：

JDK 1.8

Zookeeper 3.7.0

Hadoop 2.7.7

HBase 2.1.9

你也可以到分享的百度云盘进行下载：

HBase与Hadoop版本的兼容问题可以参考官网： http://hbase.apache.org/book.html

所有配置文件都位于 conf 目录中，需要保持集群中每个节点同步

backup-masters：默认情况下不存在。它是一个列出所有Master进程备份的机器名的纯文本文件，每一行记录一台机器名或IP。

hadoop-metrics2-hbase.properties：用于连接HBase Hadoop的Metrics2框架

hbase-env.cmd和hbase-env.sh：用于Windows和Linux/UNIX环境的脚本来设置HBase的工作环境，包括Java、Java选项和其他环境变量的位置，比如：JAVA_HOME、HBASE_MANAGES_ZK等

HBASE_MANAGES_ZK 该配置项为true时，由HBase自己管理Zookeeper；否则，启动独立的Zookeeper

hbase-policy.xml：它是一个RPC服务器使用的默认策略配置文件，根据文件配置内容对客户端请求进行授权决策。仅在启用HBase安全性时使用。

hbase-site.xml：该文件指定覆盖HBase默认的配置选项。

log4j.properties：通过log4j进行HBase日志记录的配置文件。修改这个文件中的参数可以改变HBase的日志级别。

regionservers：包含HBase集群中运行的所有Region Server主机列表（默认情况下，这个文件包含单个条目localhost）。该文件是一个纯文本文件，每行是一个主机名或IP地址

更多配置信息参考：https://hbase.apache.org/book.html#config.files

本教程按如下约定的目录或名称进行，如果不一致，请自行更改：

完成了0步的准备工作后，下载好对应版本的HBase后，将其上传到虚拟机的~/soft目录，接下来完成HBase的快速安装配置。

配置环境变量

添加如下内容：

使环境变量生效

（1）hbase-env.sh

修改如下两个配置参数：

(2）hbase-site.xml

在configuration标签中添加如下配置：

(3）regionservers

将原来的localhost修改成主机名node1

(1) 启动hdfs

（2) 启动zookeeper

（3) 启动hbase

(1) 进程查看

（2）网页查看

进入交互界面，查看help

Type ‘help “COMMAND”’, (e.g. ‘help “get”’ – the quotes are necessary) for help on a specific command.

Commands are grouped. Type ‘help “COMMAND_GROUP”’, (e.g. ‘help “general”’) for help on a command group.

…

SHELL USAGE:

Quote all names in HBase Shell such as table and column names. Commas delimitcommand parameters. Type after entering a command to run it. Dictionaries of configuration used in the creation and alteration of tables are Ruby Hashes. They look like this:

{‘key1’ => ‘value1’, ‘key2’ => ‘value2’, …}

and are opened and closed with curley-braces. Key/values are delimited by the ‘=>’ character combination**.** Usually keys are predefined constants such as NAME, VERSIONS, COMPRESSION, etc. Constants do not need to be quoted. Type ‘Object.constants’ to see a (messy) list of all constants in the environment.

If you are using binary keys or values and need to enter them in the shell, use double**-quote’d hexadecimal representation.** For example:

hbase> get ‘t1’, “key\x03\x3f\xcd”

hbase> get ‘t1’, “key\003\023\011”

hbase> put ‘t1’, “test\xef\xff”, ‘f1:’, “\x01\x33\x40”

下列列出使用HBase shell的相关要点：

交互界面的进入 hbase shell

help 可以查看单个命令，也可以查看一个分组的命令

在命令的使用过程中，像表名或者列名这样的名称，需要使用引号

命令的参数使用逗号隔开

输入回车即运行命令

单行命令过长可以使用续行符\写多行

创建或者修改表时使用字典形式进行相应配置，字典采用花括号形式，Key和Value使用 => 分隔

常量不需要使用引号，可以使用Object.constants查看有哪些常量

如果在命令行中要使用二进制，采用16进行制的写法并用双引号引起来

1）查询服务器状态

2）查询 Hbase 版本

3）查看所有表

2）获得表的描述

3） 添加一个列族

4） 添加数据 在 HBase shell 中，我们可以通过 put 命令来插入数据。列簇下的列不需要提前创 建，在需要时通过:来指定即可。添加数据如下：

5） 查看表数据

6） 删除一个列族

7） 删除列 a）通过 delete 命令，我们可以删除 id 为某个值的‘info:age’字段，接下来的 get 就无值了：

b）删除整行的值，用 deleteall 命令：

8） 通 过 enable 和 disable 来 启用 / 禁 用这 个 表 , 相 应的 可 以通 过 is_enabled 和is_disabled 来检查表是否被禁用

9） 使用 exists 来检查表是否存在

1）查询表中有多少行，用 count 命令：

2）get a)获取一个 id 的所有数据：

b)获得一个 id，一个列簇（一个列）中的所有数据：

3）查看scan的帮助

Scan a table; pass table name and optionally a dictionary of scanner specifications. Scanner specifications may include one or more of: TIMERANGE, FILTER, LIMIT, STARTROW, STOPROW, ROWPREFIXFILTER, TIMESTAMP, MAXLENGTH or COLUMNS, CACHE or RAW, VERSIONS, ALL_METRICS or METRICS

If no columns are specified, all columns will be scanned. To scan all members of a column family, leave the qualifier empty as in ‘col_family’.

The filter can be specified in two ways:

If you wish to see metrics regarding the execution of the scan, the ALL_METRICS boolean should be set to true. Alternatively, if you would prefer to see only a subset of the metrics, the METRICS array can be defined to include the names of only the metrics you care about.

Some examples:

hbase> scan ‘hbase:meta’ hbase> scan ‘hbase:meta’, {COLUMNS => ‘info:regioninfo’} hbase> scan ‘ns1:t1’, {COLUMNS => [‘c1’, ‘c2’], LIMIT => 10, STARTROW => ‘xyz’} hbase> scan ‘t1’, {COLUMNS => [‘c1’, ‘c2’], LIMIT => 10, STARTROW => ‘xyz’} hbase> scan ‘t1’, {COLUMNS => ‘c1’, TIMERANGE => [1303668804, 1303668904]} hbase> scan ‘t1’, {REVERSED => true} hbase> scan ‘t1’, {ALL_METRICS => true} hbase> scan ‘t1’, {METRICS => [‘RPC_RETRIES’, ‘ROWS_FILTERED’]} hbase> scan ‘t1’, {ROWPREFIXFILTER => ‘row2’, FILTER => " (QualifierFilter (>=, ‘binary:xyz’)) AND (TimestampsFilter ( 123, 456))"} hbase> scan ‘t1’, {FILTER => org.apache.hadoop.hbase.filter.ColumnPaginationFilter.new(1, 0)} hbase> scan ‘t1’, {CONSISTENCY => ‘TIMELINE’} For setting the Operation Attributes hbase> scan ‘t1’, { COLUMNS => [‘c1’, ‘c2’], ATTRIBUTES => {‘mykey’ => ‘myvalue’}} hbase> scan ‘t1’, { COLUMNS => [‘c1’, ‘c2’], AUTHORIZATIONS => [‘PRIVATE’,‘SECRET’]} For experts, there is an additional option – CACHE_BLOCKS – which switches block caching for the scanner on (true) or off (false). By default it is enabled. Examples:

hbase> scan ‘t1’, {COLUMNS => [‘c1’, ‘c2’], CACHE_BLOCKS => false}

Also for experts, there is an advanced option – RAW – which instructs the scanner to return all cells (including delete markers and uncollected deleted cells). This option cannot be combined with requesting specific COLUMNS. Disabled by default. Example:

hbase> scan ‘t1’, {RAW => true, VERSIONS => 10}

Besides the default ‘toStringBinary’ format, ‘scan’ supports custom formatting by column. A user can define a FORMATTER by adding it to the column name in the scan specification. The FORMATTER can be stipulated:

Example formatting cf:qualifier1 and cf:qualifier2 both as Integers: hbase> scan ‘t1’, {COLUMNS => [‘cf:qualifier1:toInt’, ‘cf:qualifier2:c(org.apache.hadoop.hbase.util.Bytes).toInt’] }

Note that you can specify a FORMATTER by column only (cf:qualifier). You cannot specify a FORMATTER for all columns of a column family.

Scan can also be used directly from a table, by first getting a reference to a table, like such:

hbase> t = get_table ‘t’ hbase> t.scan

Note in the above situation, you can still provide all the filtering, columns, options, etc as described above.

4）查询整表数据

5）扫描整个列簇

6）指定扫描其中的某个列

7）除了列（COLUMNS）修饰词外，HBase 还支持 Limit（限制查询结果行数），STARTROW（ROWKEY 起始行。会先根据这个 key 定位到 region，再向后扫描）、STOPROW(结束行)、TIMERANGE（限定时间戳范围）、VERSIONS（版本数）、和 FILTER（按条件过滤行）等。比如我们从 Sariel 这个 rowkey 开始，找下一个行的最新版本：

8）Filter 是一个非常强大的修饰词，可以设定一系列条件来进行过滤。比如我们要限制某个列的值等于 26。

值包含 6 这个值：

列名中的前缀为 birth 的：

FILTER 中支持多个过滤条件通过括号、AND 和 OR 的条件组合：

PrefixFilter 是对 Rowkey 的前缀进行判断,这是一个非常常用的功能。

删除表需要先将表 disable。