1. Map端优化

1.1 读取数据合并

1.2 列裁剪

1.3 谓词下推

1.4 数据重分布

2. Reduce端优化

2.1 关联key空值检验

SELECT  ta.idFROM    taLEFT JOIN tbON      coalesce(ta.id , rand()) = tb.id;

2.2 排序优化

-- 原始脚本select *from user_pay_tablewhere dt = '20221015'order by amtlimit 500;
-- 改进脚本SELECT  *FROM    user_pay_tableWHERE   dt = '20221015'DISTRIBUTE BY ( CASE                   WHEN amt < 100                  THEN 0                   WHEN amt >= 100 AND age <= 2000 THEN 1                   ELSE 2                 END ) SORT BY amtLIMIT 500;

3. Join端优化

3.1 大表join小表

3.2 大表join大表

长尾效应由热点数据导致，可以将热点数据加入白名单中，通过对白名单数据和非白名单数据分别处理，再合并数据。

具体表现为打散倾斜key，进行两端聚合(针对聚合)或者拆分倾斜key进行打散然后再合并数据。

1. 避免笛卡尔积

Join关联条件有误，表Join进行笛卡尔积，造成数据量爆炸。

2. 关联key区分度校验

关注JoinKey区分度，key值区分度越低（distinct数量少），越有可能造成数据爆炸情况。如用户下的性别列，交易下的省市列等。

3. 聚合操作误用

部分聚合操作需要将中间结果记录下来，最后再生成最终结果，这使得在select操作时，按照不同维度去重Distinct、不同维度开窗计算over Partition By可能会导致数据膨胀。针对这种业务逻辑，可以将一个SQL拆分成多个SQL分别进行处理操作。

大数据SQL优化是一项涉及知识面较广的工作，除了分析现有执行计划之外，还需要学习相应查询分析引擎设计原理。针对我们日常遇到的问题现总结分享给大家，供大家查阅。

参考资料：