hive数据仓库安装 | 您所在的位置:网站首页 › hive构建数据仓库 › hive数据仓库安装 |
目录 安装msyql 数据库 安装hive数据仓库 下载hive 安装包 解压压缩包: 修改 /etc/profile 文件 复制conf 文件中的配置文件 创建 hive-site.xml 文件 修改 hive-env.sh 文件 修改 hive-log4j2.properties 文件 分发文件 修改客户端 hive-site.xml 文件 在服务端、客户端,添加mysql 连接包 启动mysql 服务 服务端:启动服务 客户端:启动客户端 问题: 问题1: 问题2: 问题3: 问题4: 问题5: hive 数据仓库的使用: 创建表: 加载数据: 查询: hive数据仓库的基本特点: 1. 基于hdfs 进行存储 2. 源数据存储在关系型数据库里面 3. 提供客户端访问 4. 将sql 语句转换成对应的MapReduce 操作 安装msyql 数据库安装mysql 服务 yum install -y mysql-server 没有可用的安装包,只能手动安装 源码安装:https://blog.csdn.net/yang_zzu/article/details/104352726 docker容器安装:https://blog.csdn.net/yang_zzu/article/details/104469902 安装hive数据仓库 hive的使用是基于 hadoopHA 进行安装的 hadoopHA 的安装: https://blog.csdn.net/yang_zzu/article/details/108199608 hive服务端hive客户端yang100* yang101 *hive 官方配置文件,各个参数的介绍 https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration 下载hive 安装包 解压压缩包:客户端服务端都要进行安装包的解压缩 tar -xvzf apache-hive-3.1.2-bin.tar.gz pwd 获得当前文件夹的路径 修改 /etc/profile 文件vim /etc/profile 重新加载配置文件 source /etc/profile 复制conf 文件中的配置文件cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties 创建 hive-site.xml 文件 hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionURL jdbc:mysql://192.168.232.100:3306/hive?createDatabaseIfNotExist=true javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver javax.jdo.option.ConnectionUserName root javax.jdo.option.ConnectionPassword 123456 修改 hive-env.sh 文件这里内容之前都有在 /etc/profile 文件中给配置过,直接从文件里面进行内容的复制即可 # export HIVE_AUX_JARS_PATH= export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 export HIVE_HOME=/app/apache-hive-3.1.2-bin export HADOOP_HOME=/app/hadoop-3.2.1 export HIVE_CONF_DIR=/app/apache-hive-3.1.2-bin/conf 修改 hive-log4j2.properties 文件手动指定 hive 的日志文件地址 分发文件将配置好的文件分发到 yang100 节点(yang100 的节点作为服务端) 修改客户端 hive-site.xml 文件yang101节点作为客户端: hive.metastore.warehouse.dir /user/hive/warehouse hive.metastore.local false hive.metastore.uris thrift://192.168.232.100:9083 在服务端、客户端,添加mysql 连接包 启动mysql 服务service mysqld start 服务端:启动服务 hive --service metastore 客户端:启动客户端hive 问题: 问题1:Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxUnexpectedCharException: Unexpected character ' ' (code 160) in prolog; expected ' |
CopyRight 2018-2019 实验室设备网 版权所有 |