Hive使用动态分区向表插入数据报错java heap space或者GC overhead limit exceeded

今天使用hive动态分区向表插入数据时，一直报错java heap space或者GC overhead limit exceeded。排查了好久，发现以下问题。 1.表使用的是parquet存储格式（或者ORC）。 2.虽然数据量很小，但是分区比较多。

hive在进行多分区操作时，只启动map端任务，不启动reduce，再加上parquet格式的表会为每一个分区创建一个FileWriter，分区太多就会导致内存溢出。

1.首先确定开启了动态分区和非严格模式。

2.启用自动排序参数，强制产生reduce任务。

3.如果还报错内存溢出，强制修改map端内存大小。

4.如果仍然报错内存溢出，在sql中对时间字段进行限制，调整时间间隔，分多次进行动态分区。或者使用第5步操作 我在启动上面两个参数之后，仍然报错内存溢出。于是修改了sql，对时间进行分段截取，多批次进行动态分区。