导出hive表结构

2023-12-19 20:25| 来源: 网络整理| 查看: 265

公司hadoop集群迁移，需要迁移所有的表结构及比较重要的表的数据（跨云服务机房，源广州机房，目标北京机房）

1、迁移表结构

1）、老hive中导出表结构

1 hive -e "use db;show tables;" > tables.txt 1 2 3 4 5 6 7 #!/bin/bash cat tables.txt |while read eachline do hive -e "use klwarehouse;show create table $eachline" >>tablesDDL.txt echo ";" >> tablesDDL.txt done　　

2）、新hive中导入表结构

1 hive -f tableDDL.txt

对了，执行之前要先建立db，然后在tableDDL.txt前面加上use db;

2、迁移表数据

目前使用的方案是一个一个将表数据导出到HDFS，接着下载到云主机中，压缩，外网传到新的hive集群网络中的主机中，解压，上传至HDFS，上传至HIVE

1）、将HIVE表数据导出至HDFS

1 2 hdfs dfs -mkdir /tmp/hive-exportuse db; export table 表名 to /tmp/hive-export

2）、将HDFS数据下载至主机中

1 hdfs dfs -get /tmp/hive-export/

3）、将数据压缩

1 tar -zcvf hivetable1.tar.gz hive-export

4）、将数据发送至目标hive集群的内网主机中

1 scp hivetable1.tar.gz [email protected]:/data　　

5）、解压数据

1 tar -zxvf hivetable1.tar.gz

6）、将数据上传至HDFS中

1 hdfs dfs -put hive-export/ /tmp/hive-export

7）、将HDFS数据上传至Hive表中

1 2 use db;

【本文地址】

公司简介

联系我们