HIVE的transform函数的使用

https://blog.csdn.net/Lufei_code/article/details/89492828

Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQL

SELECT date, count(uid)

FROM xxx

GROUP BY date

但是，如果我想在reduce阶段对每天的uid形成一个列表，进行排序并输出，这在Hive中没有现成的功能。那么，可以自写脚本实现该功能，并用TRANSFORM关键字调用

SELECT TRANSFORM(date, uid)

FROM xxx

CLUSTER BY date

这是一个类似streaming的功能，但是可以更方便的访问Hive中的数据，也可以把SQL语句和自写脚本整合在一起运行。

简单分析官网上的一个例子

FROM (

FROM pv_users

SELECT TRANSFORM(pv_users.userid, pv_users.date)

USING 'map_script'

AS dt, uid

CLUSTER BY dt

) map_output

INSERT OVERWRITE TABLE pv_users_reduced

SELECT TRANSFORM(map_output.dt, map_output.uid)

USING 'reduce_script'

AS date, count;

这段代码的大致工作流程描述如下：

map_script作为mapper，reduce_script作为reducer。将pv_users表中的userid, date两列作为mapper的输入字段，处理后的输出的前两个字段分别命名为dt, uid，并按照dt字段作partition和sort送给reduce阶段处理。reducer的输入字段为dt和uid，输出处理后的前两个字段，并命名为date, count，写入到pv_users_reduced表中。

这里有几个细节：

FROM (

FROM pv_users

MAP pv_users.userid, pv_users.date

USING 'map_script'

AS dt, uid

CLUSTER BY dt

) map_output

INSERT OVERWRITE TABLE pv_users_reduced

REDUCE map_output.dt, map_output.uid

USING 'reduce_script'

AS date, count;