Flink单机部署教程

VPYKT • 2025-04-12 13:01 • 编程

如果您想在单机上搭建一套数据处理平台，那么Apache Flink可能是您的一个不错的选择。Flink 是一个分布式的数据流和批处理的框架。它提供了高效、分布式、容错、可伸缩的批流一体的数据处理能力。下面，我们将从多个方面对Flink单机部署做详细的阐述。

一、安装Java环境和Flink

在安装Flink之前，我们首先需要安装Java环境，这样才能使Flink正常工作。因为Flink需要在JVM上运行，所以我们需要先安装JDK。建议使用Oracle JDK或者OpenJDK。

sudo apt-get update  
sudo apt-get install default-jdk

安装完Java之后，我们就可以安装Flink了。你可以到官网上下载Flink的zip包，并解压：

cd /opt
sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz
sudo tar zxvf flink-1.12.2-bin-scala_2.11.tgz

如果需要使用Scala版本，请在Flink官网查看对应版本。

二、启动和关闭Flink集群

启动Flink集群有很多种方法，最基础的方式是执行以下命令：

./bin/start-cluster.sh

需要注意的是，以上命令会在后台启动Flink集群服务。如果我们需要终端显示服务启动的日志，我们可以使用如下命令：

./bin/start-cluster.sh start-foreground

同样的，可以使用以下命令关闭Flink集群服务：

./bin/stop-cluster.sh

使用以上命令关闭服务可以一定程度上保证服务进程优雅的退出。

三、提交作业

单机版的Flink支持本地运行和standalone运行，我们这里以standalone运行为例。在开始提交作业之前，需要先进入Flink的bin目录：

cd /opt/flink-1.12.2/bin

下面，让我们将一份Flink WordCount示例程序打包成jar包并提交到Flink集群中进行处理：

cd /opt/flink-1.12.2/examples/batch
mvn clean package
./flink run -c org.apache.flink.examples.java.wordcount.WordCount target/flink-java-examples-0.1-SNAPSHOT.jar

当程序成功提交之后，我们可以在Web控制台中查看相关信息。

四、使用Flink Web UI

在使用Flink时，Flink Web UI是一个非常重要的工具。它可以帮助我们实时监控Flink集群的状态，查询任务状态等等。我们可以通过以下地址访问Flink Web UI：http://localhost:8081/。

在Flink Web UI中，我们可以查看所有的作业列表，以及它们的状态。选中一个作业，我们还可以查看作业的运行状态和详情信息。例如，我们可以查看作业的执行计划，以及任务轨迹等。

五、总结

本篇文章主要以Flink的单机部署为中心，从安装Java环境和Flink、启动和关闭Flink集群、提交作业、使用Flink Web UI几个方面进行了详细的阐述。这些内容能够帮助开发者快速地进行Flink开发。

原创文章，作者：VPYKT，如若转载，请注明出处：https://www.506064.com/n/369315.html