hive安装与使用 hive的安装与配置实验报告 |
您所在的位置:网站首页 › 环境变量介绍及配置实验报告总结 › hive安装与使用 hive的安装与配置实验报告 |
一). Hive的安装与配置1. 前置说明 实验平台直达链接 任务描述 在已安装Hadoop的基础上安装配置好Hive并运行。 相关知识 完成本次任务,需要掌握: 1.Hive的基本安装; 2.Mysql的安装与设置; 3.Hive的配置。 注意:本次实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。 2. 基本配置2.1 解压缩cd /opt tar -zxf apache-hive-3.1.0-bin.tar.gz mv apache-hive-3.1.0-bin hive2.2 配环变vim /etc/profile export HIVE_HOME=/opt/hive export PATH=$HIVE_HOME/bin:$PATH解决包的冲突问题 rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar2.3 Mysql配置sudo apt-get install mysql-server #安装mysql服务 apt-get install mysql-client #安装mysql客户端 sudo apt-get install libmysqlclient-dev #安装相关依赖环境2.3.1 Mysql驱动tar -zxvf mysql-connector-java-5.1.45.tar.gz cd mysql-connector-java-5.1.45 cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/2.3.2 设置Mysql3. Hive 配置3.1 文件配置hive-site.xmlhive-site.xml保存Hive运行时所需要的相关配置信息。 hive.metastore.warehouse.dir /opt/hive/warehouse hive.exec.scratchdir /opt/hive/tmp hive.querylog.location /opt/hive/logs hive.server2.thrift.port 10000 hive.server2.thrift.bind.host localhost hive.server2.enable.doAs true hive.session.id false hive.session.silent false javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName bee javax.jdo.option.ConnectionPassword 123123 hive-env.sh由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构,主要运行在 Hadoop分布式环境下,因此,需要在文件hive-env.sh中指定Hadoop相关配置文件的路径,用于Hive访问HDFS(读取fs.defaultFS属性值)和 MapReduce(读取mapreduce.jobhistory.address属性值)等Hadoop相关组件。 如果目录下没有该文件,我们就以hive-env.sh.template为模板复制一个cp hive-env.sh.template hive-env.sh。vim hive-env.sh打开文件,在文件末尾添加变量指向 Hadoop 的安装路径 HADOOP_HOME=/usr/local/hadoop #在本地环境安装,要根据自己hadoop的路径来确定4. Hive 启动4.1 启动hadoop4.2 元数据写入第一次启动Hive前还需要执行初始化命令 schematool -dbType mysql -initSchema二). Hive Shell基础命令1. 前置说明任务描述本关任务:按照编程要求,在Hive下创建表。 相关知识Hive Shell运行在Hadoop集群环境上,是Hive提供的命令行接口(CLI),在Hive提示符输入HiveQL命令,Hive Shell把HQL查询转换为一系列MapReduce作业对任务进行并行处理,然后返回处理结果。 为了完成本实验的任务,需要掌握:Hive Shell常用命令 。 Hive Shell 常用命令注意:Hive命令必须以分号;结束。 2. 具体操作2.1 交互式运行在Hive的安装与配置基础上 启动 Hive Shell:hive 查询数据库:show databases; 查询表:show tables;因为该数据库下没有创建表,所以输出结果为0行。 创建数据库mydb:create database mydb;删除数据库mydb:drop database mydb;创建表mytable,有id字段,数据类型为int:create table mytable(id int);删除表mytable:drop table mytable;;退出 Hive Shell:exit;。2.2 非交互式运行可以在不启动Hive Shell,直接在Linux的命令行操作Hive hive -e 'show databases;';hive -S -e 'show databases;'在Hive的交互式模式和非交互式模式下,执行HiveQL操作都会输出执行过程信息,如执行查询操作所用时间,通过指定-S选项可以禁止输出此类信息。 3. 测试任务请根据左侧知识点的描述,在右侧命令行中使用 Hive 进行创表 ,具体任务如下: 在Hive Shell下创建一个表student,表结构如下: col_name data_type id int name string age int hive> create table student(id int,name string,age int);在Hive Shell下创建一个表student,表结构如下: col_name data_type id int name string age int hive> create table student(id int,name string,age int);申明:以上所有流程基于头歌实验平台提供的环境,如需实操点击直达链接跳转即可开启实验,文章仅作记录
|
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |