hive数据仓库安装 您所在的位置:网站首页 hive构建数据仓库 hive数据仓库安装

hive数据仓库安装

2023-08-05 16:06| 来源: 网络整理| 查看: 265

目录

安装msyql 数据库

安装hive数据仓库

下载hive 安装包 

解压压缩包:

修改  /etc/profile 文件

复制conf 文件中的配置文件

创建 hive-site.xml 文件 

修改 hive-env.sh 文件

修改 hive-log4j2.properties 文件 

分发文件

修改客户端 hive-site.xml 文件

在服务端、客户端,添加mysql 连接包

启动mysql 服务

服务端:启动服务

客户端:启动客户端

问题:

问题1:

问题2:

问题3:

问题4:

问题5:

hive 数据仓库的使用:

创建表:

加载数据:

查询:

hive数据仓库的基本特点:

1. 基于hdfs 进行存储

2. 源数据存储在关系型数据库里面

3. 提供客户端访问

4. 将sql 语句转换成对应的MapReduce 操作

安装msyql 数据库

安装mysql 服务

yum install -y mysql-server

没有可用的安装包,只能手动安装  

源码安装:https://blog.csdn.net/yang_zzu/article/details/104352726

docker容器安装:https://blog.csdn.net/yang_zzu/article/details/104469902

 

安装hive数据仓库

hive的使用是基于 hadoopHA 进行安装的

hadoopHA 的安装:   https://blog.csdn.net/yang_zzu/article/details/108199608

 hive服务端hive客户端yang100* yang101 *

hive 官方配置文件,各个参数的介绍 

https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

下载hive 安装包 

解压压缩包:

客户端服务端都要进行安装包的解压缩

tar -xvzf apache-hive-3.1.2-bin.tar.gz 

pwd 获得当前文件夹的路径 

修改  /etc/profile 文件

vim /etc/profile

重新加载配置文件

source /etc/profile

复制conf 文件中的配置文件

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-default.xml

cp hive-log4j2.properties.template hive-log4j2.properties

cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

创建 hive-site.xml 文件 

   hive.metastore.warehouse.dir    /user/hive/warehouse      javax.jdo.option.ConnectionURL    jdbc:mysql://192.168.232.100:3306/hive?createDatabaseIfNotExist=true      javax.jdo.option.ConnectionDriverName    com.mysql.jdbc.Driver      javax.jdo.option.ConnectionUserName    root      javax.jdo.option.ConnectionPassword    123456 修改 hive-env.sh 文件

这里内容之前都有在 /etc/profile 文件中给配置过,直接从文件里面进行内容的复制即可 

# export HIVE_AUX_JARS_PATH= export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 export HIVE_HOME=/app/apache-hive-3.1.2-bin export HADOOP_HOME=/app/hadoop-3.2.1 export HIVE_CONF_DIR=/app/apache-hive-3.1.2-bin/conf 修改 hive-log4j2.properties 文件 

手动指定 hive 的日志文件地址

分发文件

将配置好的文件分发到 yang100 节点(yang100 的节点作为服务端)

修改客户端 hive-site.xml 文件

yang101节点作为客户端:

     hive.metastore.warehouse.dir   /user/hive/warehouse         hive.metastore.local   false      hive.metastore.uris   thrift://192.168.232.100:9083    在服务端、客户端,添加mysql 连接包

启动mysql 服务

service mysqld start

 

服务端:启动服务

hive --service metastore

客户端:启动客户端

hive

问题: 问题1:

Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxUnexpectedCharException: Unexpected character ' ' (code 160) in prolog; expected '



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有