一、Spark Standalone介绍
Apache Spark 是一种快速、通用、可扩展的大数据处理引擎。它支持使用Scala、Java、Python和R编写的代码。Spark可以运行在Hadoop环境中，使用HDFS和YARN，也可以在独立集群中运行。其中，Spark Standalone是Spark的一个独立集群管理器。
Spark Standalone提供了一个集中式的调度器，可以将Spark集群作为一个整体来协调资源，因此尤其适用于构建较小的集群。Spark Standalone可以协调各个节点上的SparkApplications，允许它们共享Spark执行器，并将资源分配给应用程序。具体而言，Spark Standalone中包括Master和Worker两种角色，其中Master作为调度中心，而Worker则作为计算节点。
二、Spark Standalone特点
1、支持Spark SQL、Spark Streaming等Spark的组件，并支持与Hadoop的整合使用；
2、可以控制整个Spark Standalone集群的资源占用情况，使得任务能够快速地分配给集群上最空闲的Node；
3、提供了Web UI界面，方便用户监控和控制集群的状态；
4、可以通过Spark Standalone的配置文件方便地调整集群的规模和Master和Worker的规格；
5、可以与YARN或Mesos等资源管理框架联用，无需更改任何应用程序代码。
三、Spark Standalone实践
1、安装Spark Standalone
首先需要安装Java环境、Scala和Spark。具体安装步骤可以参考Spark官网的文档。注意，在Spark Standalone中需要分别安装Master和Worker节点。
2、配置Spark Standalone
Spark Standalone的配置文件位于Spark安装路径下的conf目录中。可以通过conf目录中的spark-env.sh文件实现一些额外的环境配置。配置文件中大部分参数是默认的，但是有几个重要的参数需要用户设置：
SPARK_MASTER_HOST = localhost # Master hostname SPARK_MASTER_PORT = 7077 # Master port SPARK_MASTER_WEBUI_PORT = 8080 # The UI’s port for the standalone Master
以上三个参数需要根据用户实际的集群环境设置。
3、启动Spark Standalone
启动Spark Standalone集群非常简单，只需在Master节点上执行以下命令：
./sbin/start-master.sh
在Worker节点上执行以下命令即可加入Spark Standalone集群：
./sbin/start-worker.sh spark://:
其中，和是Master节点的IP地址和端口号。
4、提交任务
创建Split文件：
scala> val data = Array(1, 2, 3, 4, 5)
val distData = sc.parallelize(data)
distData.saveAsTextFile("/tmp/demo/split")
创建Spark应用程序：
from pyspark import SparkContext, SparkConf
conf = SparkConf().setAppName("Demo")
sc = SparkContext(conf=conf)
rdd = sc.textFile("/tmp/demo/split")
count = rdd.count()
print(f"Lines count: {count}")
提交任务：
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://: \
--executor-memory 1g \
--total-executor-cores 1 \
$SPARK_HOME/examples/jars/spark-examples*.jar \
10
四、总结
Spark Standalone是一个高效、灵活且易于使用的大数据计算框架。通过本文的介绍和示例，相信读者已经对Spark Standalone有了更深入的了解，并能够使用它处理自己的数据问题。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/289065.html
微信扫一扫 
支付宝扫一扫 