Hive与es数据如何导入和导出

#Hive与es数据如何导入和导出| 来源: 网络整理| 查看: 265

Hive与es数据如何导入和导出发布时间：2021-12-10 10:50:01 来源：亿速云阅读：262 作者：小新栏目：大数据

这篇文章给大家分享的是有关Hive与es数据如何导入和导出的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

1. 将两个jar包添加到Hive的 hive.aux.jars.path目录 org.elasticsearch elasticsearch-hadoop 6.6.2 commons-httpclient commons-httpclient 3.1 在hive中创建es索引的外联表create external table charge_current_frequency_es ( province string, vehicleType string, vin string, chargeType string, chargeCurrentFrequency array, statis_time string ) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' location '/warningplatform.db/ads/charge_current_frequency_es' TBLPROPERTIES ('es.resource' = 'charge_current_frequency/charge_current_frequency', 'es.mapping.names' = 'province:province,vehicleType:vehicleType,vin:vin,chargeType:chargeType,chargeCurrentFrequency:chargeCurrentFrequency,statis_time:time', 'es.nodes' = '192.168.11.29', 'es.port' = '9200' );

指定hive与es字段的匹配规则

hive中的string可以写入es的date类型，格式可以是yyyy-MM-dd HH:mm:ss，但是hive读取es数据的时候，不能以string类型去接收es中date类型且格式为yyyy-MM-dd HH:mm:ss的字段。

对hive的插入和查询，即为对es索引的插入和查询。

3. 类型匹配

Hive与es数据如何导入和导出

感谢各位的阅读！关于“Hive与es数据如何导入和导出”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！

推荐阅读：hive常用功能：Hive数据导入导出方式

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：[email protected]进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。

hive es 上一篇新闻：ASP.NET Core中使用滑动窗口限流的问题举例分析下一篇新闻：如何分析Android SDK中String的坑猜你喜欢 Redis基础知识的示例分析 activemq artemis broker.xml可选配置是怎么样的 apache artemis如何定时自动清理无效主题队列 torch.log(input, out=None)如何使用 Python多线程爬虫举例分析 Python GUI编程怎么制作一个文档图片提取软件 Smartbi数据挖掘工具的应用实践是怎样的怎么使用PCA去除数据集中的多重共线性帕累托图形在数据分析中怎么应用如何进行seaborn的使用

【本文地址】

公司简介

联系我们