分布与倾斜

当不成比例的数据流向一个或几个节点并由其处理时，则要处理倾斜结果。 它往往是Greenplum数据库性能和稳定性问题的罪魁祸首。 它可能发生在诸如连接，排序，聚合和各种OLAP操作之类的操作中。 处理倾斜在执行查询中发生，并且不容易检测数据倾斜。

如果单个节点失败，即不是主机上的所有节点，则可能是处理倾斜问题。 识别处理倾斜目前是一个手动过程。 首先查看分裂文件。 如果存在倾斜，但不足以导致分裂，则不会成为性能问题。 如果确定存在倾斜，则找到导致倾斜的查询。 以下是要使用的步骤和命令。 （更改名称，例如传递给gpssh的主机文件名）：

如果磁盘使用率存在显着且持续的差异，则应调查正在执行的查询是否存在可能的倾斜（上面的示例输出未显示出明显的倾斜）。 在监控系统中，总会存在一些倾斜，但通常是短暂的，持续时间很短。

上一步中的命令汇总了全部节点。 这次，找到实际的节点目录。 您可以从master执行此操作，也可以登录到上一步中标识的特定节点。 以下是从master运行的示例。

扫描此输出显示主机sdw8上的节点gpseg45是罪魁祸首，因为其排序文件比输出中的其他文件大。

几乎在所有情况下处理倾斜的解决方法是重写查询。 创建临时表可以消除倾斜。 临时表可以随机分配以强制进行两阶段聚合。