大数据应用

任务一：完成Hive内嵌模式部署

1.1 Hive部署

官网下载Hive安装包

（1）官网地址：Apache Hive

（2）文档查看地址：

https://cwili.apache.org/confluence/display/Hive/GettingStarted

（2）下载地址：Index of /dist/hive

（3）github地址：GitHub - apache/hive: Apache Hive

1.2 安装Hive

1.  上传安装包到Linux系统下并解压到指定目录

[hadoop@hadoop101 software]$ tar -zxvf /opt/software/apache-hi

ve-3.1.2- bin.tar.gz -C /opt/module/

2.   修改/etc/profile.d/my_env.sh,添加环境变量

3.  解决日志Jar包冲突

[atguigu@hadoop101 hive]$ mv lib/log4j-slf4j-impl-2.10.0.jar lib

/log4j-slf4j-impl-2.10.0.bak

4.  初始化元数据库

[hadoop@hadoop101 hive]$ bin/schematool -dbType derby -initS

Schema

5.  启动Hive

（1）启动hadoop集群

（2）启动Hive

[hadoop@hadoop101 hive]$bin/hive

1.3 Hive属性配置

1.  修改/opt/module/hive/conf/hive-log4j2.properties.tem

plate 文件名称为 hive-log4j2.properties

2.  在 hive-log4j2.properties 文件中修改 log 存放位置

hive.log.dir=/opt/module/hive/logs

            hive-site.xml中添加打印当前库和表头的配置

任务二：能够将Hive数据存储在HDFS上

1.  建立Hive表

首先，创建一个Hive表，用于存储数据，示例表结构为：

上述语句创建了一个名为employee的表，表中包含empid、name、salary和gender四个字段，字段类型分别为整型、字符串类型、浮点型和字符串类型。表中的数据将以逗号分隔的文本文件的形式进行存储，文件的存储格式为TEXTFILE。

2.  将数据存储到HDFS上

接下来将数据存储到HDFS上。在本地文件系统中创建文本文件employee.txt，该文件包含了一些雇员信息，例如：

将该文本文件上传到HDFS上，例如：

将数据导入到Hive表中，例如：

该语句将HDFS上的employee.txt文件中的数据加载到Hive表employee中。

当数据存储在Hive表中后，我们可以通过Hive提供的SQL语句来查询和操作数据。同时，我们也可以通过HDFS命令来处理Hive表所存储的数据。

例如，我们可以使用以下命令查看HDFS上employee.txt文件的内容：

也可以使用以下命令将HDFS上的employee.txt文件导出到本地文件系统中：

任务三：进入Hive Shell,自行设计Hive表，完成常见的DDL操作和DML操作

3.1 DDL操作

   1.  创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name

[COMMENT database_comment]

[LOCATION hdfs_path]

[WITH DBPROPERTIES (property_name=property_value, ...)];

径是/user/hive/warehouse/student_db.db。

（2）避免要创建的数据库已经存在错误，增加if not exists判断。

hive (default)> create database if not exists student_db;

（3）创建一个数据库，指定数据库在HDFS上存放的位置

hive (default)> create database student_db location '/student_db';

hive (default)> alter database student_db set dbpro

perties('createtime'='20230622');

据库是否存在

除

（1）建表语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

[(col_name data_type [COMMENT col_comment], ...)]

[COMMENT table_comment]

[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]

[CLUSTERED BY (col_name, col_name, ...)

[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]

[ROW FORMAT row_format]

[STORED AS file_format]

[LOCATION hdfs_path]

[TBLPROPERTIES (property_name=property_value, ...)]

[AS select_statement]

中）

因为表是外部表，所以 Hive 并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据，不过描述表的元数据信息会被删除掉。

创建部门表

创建员工表

外部表删除后，hdfs 中的数据还在，但是 metadata 中 dept 的元数据已被删除

hive (default)> desc formatted student2;

重命名表

ALTER TABLE table_name RENAME TO new_table_na

me

3.2 DML操作

1.  数据导入

（1）向表中装载数据（Load）

hive> load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)];

上传文件到HDFS

加载HDFS上数据

上传文件到HDFS

加载数据覆盖表中已有数据

（2）通过查询语句向表中插入数据（Insert）

A. 创建一张表

（3）查询语句中创建表并加载数据（As Select）

根据查询结果创建表（查询结果会添加到新创建的表中）

（4）创建表时通过Location指定加载数据路径

A. 创建表，并指定在HDFS上的位置

hive(default)>insert overwrite local directory '/opt/module/hi

ve/datas/export/student1'

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select * from student;

hive(default)>insert overwrite directory '/student_db/studen

T2'

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' select * from student;

hive (default)> dfs -get /student_db/student/student.txt /

/opt/module/datas/export/student3.txt;