如何在创建hive表格的python代码中导入外部文件 您所在的位置:网站首页 python创建db文件 如何在创建hive表格的python代码中导入外部文件

如何在创建hive表格的python代码中导入外部文件

2022-11-29 07:14| 来源: 网络整理| 查看: 265

业务场景大概是这样的,我要对用户博文进行分词(这个步骤可以看这篇文章如何在hive调用python的时候使用第三方不存在的库-how to use external python library in hadoop) 然后在对每条博文进行分词之后呢,我需要做的就是对分词之后的结果去除停用词,但是在公司hadoop集群是是没有我们所需要的停用词文件的,其实解决这个问题很类似我上面列出来的文章,就是如果在hive的自定义函数中使用我们自己的文件或者包

解决办法大概是这样: 首先在shell脚本中加入 add file ./stop_word.txt;

function zida(){ cat


【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有