如果您想在單機上搭建一套數據處理平台,那麼Apache Flink可能是您的一個不錯的選擇。Flink 是一個分布式的數據流和批處理的框架。它提供了高效、分布式、容錯、可伸縮的批流一體的數據處理能力。下面,我們將從多個方面對Flink單機部署做詳細的闡述。
一、安裝Java環境和Flink
在安裝Flink之前,我們首先需要安裝Java環境,這樣才能使Flink正常工作。因為Flink需要在JVM上運行,所以我們需要先安裝JDK。建議使用Oracle JDK或者OpenJDK。
sudo apt-get update
sudo apt-get install default-jdk
安裝完Java之後,我們就可以安裝Flink了。你可以到官網上下載Flink的zip包,並解壓:
cd /opt
sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz
sudo tar zxvf flink-1.12.2-bin-scala_2.11.tgz
如果需要使用Scala版本,請在Flink官網查看對應版本。
二、啟動和關閉Flink集群
啟動Flink集群有很多種方法,最基礎的方式是執行以下命令:
./bin/start-cluster.sh
需要注意的是,以上命令會在後台啟動Flink集群服務。如果我們需要終端顯示服務啟動的日誌,我們可以使用如下命令:
./bin/start-cluster.sh start-foreground
同樣的,可以使用以下命令關閉Flink集群服務:
./bin/stop-cluster.sh
使用以上命令關閉服務可以一定程度上保證服務進程優雅的退出。
三、提交作業
單機版的Flink支持本地運行和standalone運行,我們這裡以standalone運行為例。在開始提交作業之前,需要先進入Flink的bin目錄:
cd /opt/flink-1.12.2/bin
下面,讓我們將一份Flink WordCount示例程序打包成jar包並提交到Flink集群中進行處理:
cd /opt/flink-1.12.2/examples/batch
mvn clean package
./flink run -c org.apache.flink.examples.java.wordcount.WordCount target/flink-java-examples-0.1-SNAPSHOT.jar
當程序成功提交之後,我們可以在Web控制台中查看相關信息。
四、使用Flink Web UI
在使用Flink時,Flink Web UI是一個非常重要的工具。它可以幫助我們實時監控Flink集群的狀態,查詢任務狀態等等。我們可以通過以下地址訪問Flink Web UI:http://localhost:8081/。
在Flink Web UI中,我們可以查看所有的作業列表,以及它們的狀態。選中一個作業,我們還可以查看作業的運行狀態和詳情信息。例如,我們可以查看作業的執行計劃,以及任務軌跡等。
五、總結
本篇文章主要以Flink的單機部署為中心,從安裝Java環境和Flink、啟動和關閉Flink集群、提交作業、使用Flink Web UI幾個方面進行了詳細的闡述。這些內容能夠幫助開發者快速地進行Flink開發。
原創文章,作者:VPYKT,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/369315.html