一、Hive数据倾斜表现
Hive数据倾斜的表现是在MapReduce任务执行时，有一个或多个task负载过重或者处理速度远慢于其他task，致使整个任务的进度变慢。
可以通过Hive TaskTracker的日志查看MapReduce任务中每个task的执行进度，如果发现某个task进度无法前进或速度特别慢，那就有可能是数据倾斜导致的。
二、如何定位Hive数据倾斜
定位Hive数据倾斜的关键是找到导致倾斜的原因，常见的原因包括数据分布不均，数据倾斜到一个reduce上，Join过程中有一个表的数据倾斜了等。
可以通过以下方式来定位Hive数据倾斜：
1. 查看任务执行进度，如果有某个task的进度一直停留在某个位置，那么有可能是数据倾斜造成的；
2. 查看Mapper和Reducer输入、输出的数据量情况，若发现某个task的输入数据量特别大，而且输出数据量特别小，那就有可能是数据倾斜在该task造成的；
3. 使用Hive的profile功能，查看具体的task执行时间情况，并观察是否有task的执行时间异常。
三、Hive数据倾斜原因
Hive数据倾斜的原因可能有很多，下面列举几种常见的原因：
1. 数据倾斜到一个reduce上导致的；
2. Join过程中有一个表的数据倾斜造成的；
3. 某些列的数据分布不均，比如一个字段的值本来是均匀分布的，但是因为某些原因，导致该字段的某些值数量特别多，而另一些值却很少，造成数据倾斜。
四、Hive数据倾斜解决方法
1. 动态决定reduce任务数量
通过dynamic partition或者tez.groupBy.skewmaxReduction参数，可以动态决定reduce任务的数量。当出现数据倾斜时，可以采用增加reduce任务的方式，让任务更均衡地分布到多个task中。
代码示例：
SET hive.optimize.skewjoin=true; SET hive.skewjoin.key=1000000; SET tez.groupBy.skewmaxReduction=25;
2. 增加Map任务数量
可以通过设置mapred.map.tasks参数调整Map任务数量，增加map任务数目可以有效提高任务并行度，减轻Hive数据倾斜的影响。
代码示例：
SET mapred.map.tasks=1000;
3. 增加Reducer数量
可以通过设置mapred.reduce.tasks参数调整Reducer数量，增加Reducer任务数目也可以有效提高任务并行度。
代码示例：
SET mapred.reduce.tasks=1000;
4. 使用随机数实现数据均匀分布
可以使用随机数将数据均匀分布到多个Reduce任务中。该方法需要自己实现一个UDF函数。
代码示例：
ADD JAR /path/to/your/jar; CREATE TEMPORARY FUNCTION uniform_distribution AS 'com.xxx.UniformDistributionUDF'; SELECT uniform_distribution(column) FROM table;
五、Hive中的数据倾斜参数
针对Hive数据倾斜问题，Hive提供了以下参数来调整：
1. hive.optimize.skewjoin
该参数默认值为false。当设置为true时，表示开启“Skew Join优化”，可以显著减轻Join过程中数据倾斜的问题。
2. hive.skewjoin.key
该参数用于表示Join操作中，Join Key的重复值数量阈值。当Join Key的重复值数量大于该阈值时，就会采用Skew Join优化策略。
3. tez.groupBy.skewmaxReduction
该参数用于表示reduce任务数量的最大限制。当数据倾斜时，可以调整该参数增加reduce任务的数量，有效缓解Hive数据倾斜问题。
六、Hive数据倾斜监控
监控Hive数据倾斜，可以通过以下几个方面来实现：
1. 查看MapReduce任务执行状态；
2. 使用Hive profile功能查看各个task执行时间；
3. 使用Ganglia等监控工具实时监控集群状态并提醒管理员。
七、Hive数据倾斜的场景
Hive数据倾斜的场景比较广泛，常见的场景包括：
1. 大量数据倾斜到一个key上；
2. Join操作中有一个表的数据倾斜造成的；
3. 某些列的数据分布不均。
八、Hive数据倾斜解决办法选取
针对不同的Hive数据倾斜问题，可以采用不同的解决办法。具体来说，需要针对性地调整各项参数，实现数据均匀分布，从而达到最佳的调优效果。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/237421.html
微信扫一扫 
支付宝扫一扫 