一、DAG概述
DAG（Directed Acyclic Graph）有向无环图，Spark中的DAG是表示Spark作业执行的有向无环图。
Spark把作业分解为阶段，每个阶段包含若干个任务，阶段之间是有依赖关系的，可以形成成本最小的执行计划。
二、DAG生成过程
Spark作业的DAG可以分为逻辑DAG和物理DAG两个层次：
1. 逻辑DAG
逻辑DAG是指根据RDD间的转化依赖关系创建的有向无环图。在这个图中，每个RDD都是一个定点，每个转化操作就是一条边。
例如：val rdd1 = sc.parallelize(Seq((1,”a”),(2,”b”),(3,”c”)))
val rdd2 = rdd1.filter(_._1 > 1)
以上代码创建了一个包含三条记录的RDD rdd1，然后对 rdd1 进行了一个筛选操作生成了 rdd2。从逻辑DAG上看，rdd2 通过依赖于 rdd1 和 filter 操作，组成了一张逻辑DAG.
2. 物理DAG
物理DAG表示的是逻辑DAG在集群上的运行轨迹。在这个过程中，Spark会对逻辑DAG进行分析和优化，转化成为物理计划。物理DAG的节点对应的是Stage，即运行任务的一段过程。
三、DAG调度过程
Spark运行过程中的任务调度由TaskScheduler及其下属的不同的SchedulerBackend完成的。调度流程分为两个阶段：
1. DAG Schedule
DAG Schedule的主要功能是把逻辑DAG分解为不同Stages，这个阶段只会对RDD依赖关系进行优化分析，不会有任务真正地运行。
2. Task Schedule
Task Schedule是真正把运行任务分配到不同节点的阶段，尽量保证任务尽量均匀地分布在各节点上。这个阶段的主要任务是负责管理不同节点上的任务调度，分配资源等。
四、DAG可视化
Spark提供了Web界面来展示DAG的运行过程。通过Spark Web UI，可以清楚地看到每个Stage间的依赖关系，每个Task在哪个节点上运行，运行时占用CPU、内存等情况。我们可以同时观察Job、Stage、Task的情况，有效地优化Spark任务的运行效率。
五、DAG API示例
1. 创建RDD
val rdd1 = sc.parallelize(Seq((1,"a")))
val rdd2 = sc.parallelize(Seq((1,"b"))) 2. 转化操作
val rdd3 = rdd1.union(rdd2)
val rdd4 = rdd3.filter(_._1 > 1) 3. 行动操作
rdd4.collect()六、DAG优化建议
1. 避免shuffle操作
在Spark中执行shuffle操作是十分昂贵的，会引发磁盘I/O，内存消耗严重。尤其是在大数据集情况下，shuffle操作会严重影响性能。
2. 使用Broadcast变量
对于需要广播的变量，使用broadcast变量可以避免数据的重复传送，从而降低了网络带宽的压力。
3. 跳过不必要的转化操作
当某些数据集在后续不会被用到时，应该优化掉这些不必要的中间结果，避免对运行性能的影响。
七、总结
以上就是我们对Spark DAG深入探究的详细介绍。Spark的DAG是Spark执行计划的核心组成部分，理解它的生成过程、调度过程以及优化策略，将有助于我们更好地优化Spark计算任务，提升运行效率。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/181450.html
微信扫一扫 
支付宝扫一扫 