Flink單機部署教程

如果您想在單機上搭建一套數據處理平台,那麼Apache Flink可能是您的一個不錯的選擇。Flink 是一個分散式的數據流和批處理的框架。它提供了高效、分散式、容錯、可伸縮的批流一體的數據處理能力。下面,我們將從多個方面對Flink單機部署做詳細的闡述。

一、安裝Java環境和Flink

在安裝Flink之前,我們首先需要安裝Java環境,這樣才能使Flink正常工作。因為Flink需要在JVM上運行,所以我們需要先安裝JDK。建議使用Oracle JDK或者OpenJDK。

sudo apt-get update  
sudo apt-get install default-jdk

安裝完Java之後,我們就可以安裝Flink了。你可以到官網上下載Flink的zip包,並解壓:

cd /opt
sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz
sudo tar zxvf flink-1.12.2-bin-scala_2.11.tgz

如果需要使用Scala版本,請在Flink官網查看對應版本。

二、啟動和關閉Flink集群

啟動Flink集群有很多種方法,最基礎的方式是執行以下命令:

./bin/start-cluster.sh

需要注意的是,以上命令會在後台啟動Flink集群服務。如果我們需要終端顯示服務啟動的日誌,我們可以使用如下命令:

./bin/start-cluster.sh start-foreground

同樣的,可以使用以下命令關閉Flink集群服務:

./bin/stop-cluster.sh

使用以上命令關閉服務可以一定程度上保證服務進程優雅的退出。

三、提交作業

單機版的Flink支持本地運行和standalone運行,我們這裡以standalone運行為例。在開始提交作業之前,需要先進入Flink的bin目錄:

cd /opt/flink-1.12.2/bin

下面,讓我們將一份Flink WordCount示常式序打包成jar包並提交到Flink集群中進行處理:

cd /opt/flink-1.12.2/examples/batch
mvn clean package
./flink run -c org.apache.flink.examples.java.wordcount.WordCount target/flink-java-examples-0.1-SNAPSHOT.jar

當程序成功提交之後,我們可以在Web控制台中查看相關信息。

四、使用Flink Web UI

在使用Flink時,Flink Web UI是一個非常重要的工具。它可以幫助我們實時監控Flink集群的狀態,查詢任務狀態等等。我們可以通過以下地址訪問Flink Web UI:http://localhost:8081/。

在Flink Web UI中,我們可以查看所有的作業列表,以及它們的狀態。選中一個作業,我們還可以查看作業的運行狀態和詳情信息。例如,我們可以查看作業的執行計劃,以及任務軌跡等。

五、總結

本篇文章主要以Flink的單機部署為中心,從安裝Java環境和Flink、啟動和關閉Flink集群、提交作業、使用Flink Web UI幾個方面進行了詳細的闡述。這些內容能夠幫助開發者快速地進行Flink開發。

原創文章,作者:VPYKT,如若轉載,請註明出處:https://www.506064.com/zh-tw/n/369315.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
VPYKT的頭像VPYKT
上一篇 2025-04-12 13:01
下一篇 2025-04-12 13:01

相關推薦

  • MQTT使用教程

    MQTT是一種輕量級的消息傳輸協議,適用於物聯網領域中的設備與雲端、設備與設備之間的數據傳輸。本文將介紹使用MQTT實現設備與雲端數據傳輸的方法和注意事項。 一、準備工作 在使用M…

    編程 2025-04-29
  • Python3.6.5下載安裝教程

    Python是一種面向對象、解釋型計算機程序語言。它是一門動態語言,因為它不會對程序員提前聲明變數類型,而是在變數第一次賦值時自動識別該變數的類型。 Python3.6.5是Pyt…

    編程 2025-04-29
  • Deepin系統分區設置教程

    本教程將會詳細介紹Deepin系統如何進行分區設置,分享多種方式讓您了解如何規劃您的硬碟。 一、分區的基本知識 在進行Deepin系統分區設置之前,我們需要了解一些基本分區概念。 …

    編程 2025-04-29
  • 寫代碼新手教程

    本文將從語言選擇、學習方法、編碼規範以及常見問題解答等多個方面,為編程新手提供實用、簡明的教程。 一、語言選擇 作為編程新手,選擇一門編程語言是很關鍵的一步。以下是幾個有代表性的編…

    編程 2025-04-29
  • Qt雷達探測教程

    本文主要介紹如何使用Qt開發雷達探測程序,並展示一個簡單的雷達探測示例。 一、環境準備 在開始本教程之前,需要確保你的開發環境已經安裝Qt和Qt Creator。如果沒有安裝,可以…

    編程 2025-04-29
  • 猿編程python免費全套教程400集

    想要學習Python編程嗎?猿編程python免費全套教程400集是一個不錯的選擇!下面我們來詳細了解一下這個教程。 一、課程內容 猿編程python免費全套教程400集包含了從P…

    編程 2025-04-29
  • Python煙花教程

    Python煙花代碼在近年來越來越受到人們的歡迎,因為它可以讓我們在終端里玩煙花,不僅具有視覺美感,還可以通過代碼實現動畫和音效。本教程將詳細介紹Python煙花代碼的實現原理和模…

    編程 2025-04-29
  • 使用Snare服務收集日誌:完整教程

    本教程將介紹如何使用Snare服務收集Windows伺服器上的日誌,並將其發送到遠程伺服器進行集中管理。 一、安裝和配置Snare 1、下載Snare安裝程序並安裝。 https:…

    編程 2025-04-29
  • Python畫K線教程

    本教程將從以下幾個方面詳細介紹Python畫K線的方法及技巧,包括數據處理、圖表繪製、基本設置等等。 一、數據處理 1、獲取數據 在Python中可以使用Pandas庫獲取K線數據…

    編程 2025-04-28
  • Python語言程序設計教程PDF趙璐百度網盤介紹

    Python語言程序設計教程PDF趙璐百度網盤是一本介紹Python語言編程的入門教材,本文將從以下幾個方面對其進行詳細闡述。 一、Python語言的特點 Python語言屬於解釋…

    編程 2025-04-28

發表回復

登錄後才能評論