HBase的编程实践（实验3

HBase的编程实践

✿ 准备工作：启动、关闭hbase之类的（以及该过程可能遇到的bug）

一、Hbase中使用Shell命令：

① HBase中创建表：（create 命令：第一个变量是表名，然后是列族名）

✿ 增加数据

② put：（put 命令：第一个变量是表名，第二个变量是行键，第三个变量开始就是添加列族情况啦（列限定符可选）

✿ 删除数据

③ delete命令：

□ put 的反向操作：

□ 删除 一行中的所有数据：

□ 删除 表：

✿ 查看数据：

□ get： 查看的是一行中的数据

□ scan： 查看的是表中的全部数据

 ✿  查询表历史数据：

④ 查询表的历史版本，需要两步。

 ✿ 退出HBase数据库操作：

⑤ 命令： exit

✿ 准备工作：导入jar包：

例子:创建表，插入数据、查看表中数据

三、实验：熟悉常用的HBase 操作：

（一）编程实现以下指定功能，并用 Hadoop 提供的 HBase Shell 命令完成相同任务：

（二）现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：

学生表（Student）、课程表（Course）、选课表（SC）：同时，请编程完成以下指定功能：

....

✿ 准备工作：

■ 先启动hadoop，再启动hbase；（关闭：关闭先关hbase，再关闭hadoop）

□ 启动hadoop：

□ 启动hbase：(因为hbase 咱将其bin 目录配置了环境变量，相当于全局变量了，在终端命令可以直接使用， 而hadoop 没有配置系统的全局变量，所以需要切换到其安装目录下的sbin 目录)

□ 进入shell界面：

□关闭hbase：

□关闭hadoop：

 可能遇到bug：org.apache.hadoop.hbase.PleaseHoldException:Maste is initializing

  logs中报错：master.HMaster: Master failed to complete initialization after 900000ms. Please consider submitting a bug report including a thread dump of this process.

 master.SplitLogManger:error while splitting logs in [hdfs:// localhost:9000/hbase/WALS...]

屋漏偏逢连夜雨：又卡住。。。。。

 解决：ctr+c，关闭hbase、关闭hadoop，然后，关掉shell，重启，然后重新登录。。。（ssh localhost 又发现。。。，直觉，这个问题无伤大雅，跳过它）

Failed to connect to https://changelogs.ubuntu.com/meta-relese-lts.Check your Internet connection or proxy settings.

 诡异的事。。。（前一秒成功创建了一张表，下一秒卡死）

 日志显示：【诡异的地方是在，我创建的表格名为user 就卡住，创建叫其他名字的表格就没事】

警告：WARN[ProcExecTimeout] assignment.AssignmentManger：STUCK Region-In-Transition rit=OPENING, location=null，table=user，region=d7e...

然后又：ERROR:master.HMasterCommandLine:Master exiting。。。

 至此越搞越多bug，我选择重新安装（因为重新安装对于解决问题的是一个优解，为什么不重新安装呢，办法没有高低贵贱，高效即最好。）

也许一开始的原因在于删除表的命令输入先后顺序有问题，我是先输入：truncate 'user' （‘user’ 是表名） 然后输入 drop 'user' #停用表之后才能删除

（好像输入 drop命令前已经停表了哈哈哈）问题不大，重新装一下即可

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

一、Hbase中使用Shell命令：

① HBase中创建表：（create 命令：第一个变量是表名，然后是列族名）

语法：create '表名称','列族名称1','列族名称2','列族名称N'

通过命令 describe 'student'  进行查看表的结构：（desc ‘表名’，查看表的结构）

✿ 增加数据

② put：（put 命令：第一个变量是表名，第二个变量是行键，第三个变量开始就是添加列族情况啦（列限定符可选）

 注意 put 命令：一次只能为一个表的一行数据的一个列，也就是一次只能给一个单元格添加一个数据，

所以直接用shell命令插入数据效率很低，在实际应用中，一般都是利用编程操作数据。

语法：put '表名称','行名称','列名称:','值'

例子：student表添加了学号为95001，名字为LiYing的一行数据，其行键为95001。

例子：为95001行下的course列族的math列添加了一个数据：

在表格中的样子（大概如此，变量名不一定对得上哦，我只是为了展示表格的形式）：

 ✿ 删除数据

③ delete命令：

□ put 的反向操作：

□ 删除 一行中的所有数据：

□ 删除 表：

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

□ put 的反向操作：

 □ 删除 一行中的所有数据：

 □ 删除表 ：

✿ 查看数据：

□ get： 查看的是一行中的数据

□ scan： 查看的是表中的全部数据

 还可以查询部分细节的数据等等细节的数据，例如：查询 某个列族的数据：

 ✿  查询表历史数据：

④ 查询表的历史版本，需要两步。1、在创建表的时候，指定保存的版本数（假设指定为5）

2、插入数据然后更新数据，使其产生历史版本数据，注意：这里插入数据和更新数据都是用put命令

3、查询时，指定查询的历史版本数。默认会查询出最新的数据

 ✿ 退出HBase数据库操作

⑤ 命令： exit

注意：这里退出HBase数据库是退出对数据库表的操作，而不是停止启动HBase数据库后台运行。

✿ 准备工作：导入jar包：

导包步骤：File -》 Project Structure -》Libraries -》+ -》选择需要导入的包，然后记得导入完成后，点击一下 Apply，再点 Ok

（1） 进入到“/usr/local/hbase/lib”目录，选中该目录下的所有jar文件（注意，不要选中client-facing-thirdparty、ruby、shaded-clients和zkcli这四个目录）

（2）  进入到“/usr/local/hbase/lib/client-facing-thirdparty”目录, 选中该目录下的所有jar文件。

例子：创建表，插入数据，查看表中数据

运行程序后，到终端输入：scan ‘student’ 查看一下

三、实验：熟悉常用的HBase 操作：

（一）编程实现以下指定功能，并用 Hadoop 提供的 HBase Shell 命令完成相同任务：

1.列出 HBase 所有的表的相关信息，例如表名：

■ HBase Shell：List

■ Java Api:

2.在终端打印出指定的表的所有记录数据；

■ HBase Shell：scan 'student'

■ Java Api:

3,向已经创建好的表添加和删除指定的列族或列:

■ HBase Shell：

put 'student','95003','Sname','wangjinxuan' 　　　　(添加列)

put 'student','95003','Sname:nickName','wang'　　　　(添加列族)

put 'student','95003','Sname:firstName','jinxuan'    （添加列族）

put的反向操作的delete：

delete 'student' ,’95003’,’Sname’

delete 'student' ,’95003’,’Sname:nickName’

deleteall 'student' ,’95003’   　(删除整个行记录)

■ Java Api:

4，清空指定的表的所有记录数据：

■ HBase Shell：truncate 'student'

■ Java Api:

5,统计表的行数:

■ HBase Shell：count 'student'

■ Java Api:

（二）现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：

学生表（Student）、课程表（Course）、选课表（SC）：同时，请编程完成以下指定功能：

同时，请编程完成以下指定功能：

① createTable(String tableName, String[] fields)： 创建表，参数tableName为表的名称，字符串数组fields为存储记录各个域名称的数组。

（域名称即列族名称啦）要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

② addRecord(String tableName, String row, String[] fields, String[] values)： 向表tableName、行row（用S_Name表示）和字符串数组files指定的单元格中添加对应的数据values。其中fields中每个元素如果对应的列族下还有相应的列限定符的话，用"columnFamily:column"表示。例如，同时向"Math"、“Computer Science”、"English"三列添加成绩时，字符串数组fields为{“Score:Math”, “Score: Computer Science”, “Score:English”}，数组values存储这三门课的成绩。

③ scanColumn(String tableName, String column)： 浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如"Score:Math"）时，只需要列出该列的数据。

④ modifyData(String tableName, String row, String column)： 修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。

⑤ deleteRow(String tableName, String row)： 删除表tableName中row指定的行的记录。

 参考：

《HBase2.2.2安装和编程实践指南_厦大数据库实验室博客 (xmu.edu.cn)》

《实验3 熟悉常用的 HBase 操作》https://blog.csdn.net/qq_38648558/article/details/83033050

《实验3_熟悉常用的HBase操作》https://blog.csdn.net/qq_50596778/article/details/120552574

本文来自博客园，作者：一乐乐，转载请注明原文链接：https://www.cnblogs.com/shan333/p/15388633.html