hive中serde的用法 hive order | 您所在的位置:网站首页 › select和choose的用法 › hive中serde的用法 hive order |
全局排序( Order By) Order By: 全局排序, 一个 Reducer 使用 ORDER BY 子句排序ASC( ascend) : 升序( 默认) DESC( descend) : 降序ORDER BY 子句在 SELECT 语句的结尾set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict;order by 和数据库中的Order by 功能一致,按照某一项 & 几项 排序输出。 与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下 必须指定 limit 否则执行会报错。 案例实操 (1) 查询员工信息按工资升序排列hive (default)> select * from emp order by sal;(2) 查询员工信息按工资降序排列 hive (default)> select * from emp order by sal desc;PS: FAILED: Error in semantic analysis: 1:28 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token ‘id’ 原因: 在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce,如果在数据量大的情况下会出现无法输出结果的情况,如果进行 limit n ,那只有 n * map number 条记录而已。只有一个reduce也可以处理过来。 Sort Bysort by: 对全局结果集来说不是排序。其在数据进入reducer前完成排序。 因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。 sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响 sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。 注意:可以用limit子句大大减少数据量。使用limit n后,传输到reduce端(单机)的数据记录数就减少到n* (map个数)。否则由于数据过大可能出不了结果。 设置 reduce 个数hive (default)> set mapreduce.job.reduces=3;查看设置 reduce 个数hive (default)> set mapreduce.job.reduces;根据部门编号降序查看员工信息hive (default)> select * from emp sort by empno desc;将查询结果导入到文件中( 按照部门编号降序排序)hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by deptno desc;分区排序( Distribute By)Distribute By: 类似 MR 中 partition, 进行分区, 结合 sort by 使用。 注意, Hive 要求 DISTRIBUTE BY 语句要写在 SORT BY 语句之前。对于 distribute by 进行测试, 一定要分配多 reduce 进行处理, 否则无法看到 distribute by 的效果。 案例实操: 先按照部门编号分区, 再按照员工编号降序排序。hive (default)> set mapreduce.job.reduces=3; hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;按照指定的字段对数据进行划分到不同的输出reduce / 文件中。insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);此方法会根据name的长度划分到不同的reduce中,最终输出到不同的文件中。 Cluster By当 distribute by 和 sorts by 字段相同时, 可以使用 cluster by 方式。cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序, 不能指定排序规则为 ASC 或者 DESC。 以下两种写法等价 hive (default)> select * from emp cluster by deptno; hive (default)> select * from emp distribute by deptno sort by deptno;注意: 按照部门编号分区, 不一定就是固定死的数值, 可以是 20 号和 30 号部门分到一个分区里面去。
|
CopyRight 2018-2019 实验室设备网 版权所有 |