全方位闡述Flink版本

一、Flink版本表

Flink作為應用廣泛的實時流處理引擎,每個版本都不斷地進行優化和更新。Flink版本表中記錄了所有Flink的歷史版本及其發布日期、狀態,用戶可以通過官方網站查看。在版本表中,對Flink版本的狀態分為三種,分別為:Experimental、Stable、Maintenance。

Experimental:實驗版本,有一些新功能或實驗性質的變化,一些API接口可能發生變化。

Stable:穩定版本,在經歷一段試用期後,已被大多數用戶採納,該版本的API接口不會再發生變化,而且在該版本上會修復很多bug。

Maintenance:維護版本,在該版本上不會引入新的特性,主要是修復已知的bug和安全問題。

二、Flink啟動命令

在Flink的安裝目錄下bin目錄中,可以看到啟動腳本,即flink run。使用flink run可以啟動一個Flink作業。例如,啟動一個jobmanager:

./bin/start-cluster.sh

Flink還提供了web頁面,可以通過web頁面對Flink集群進行監控和管理。啟動該web頁面可以使用如下命令:

./bin/start-web.sh

三、Flink版本1.13

Flink 1.13是一個很有趣的版本,它新增了很多新的功能。

1、Statful Functions:這是一種全新的應用程序編寫模式,可以使流處理應用程序更靈活,更易於開發維護。

2、Python Table API和SQL:Flink 1.13的Table API和SQL支持Python,用戶可以使用Python API和SQL執行流處理任務。

3、擴展Apache Kafka Connector:新版本擴展了Flink的Kafka連接器,使其支持新的kafka版本,包括Kafka 2.8/2.7/2.6/2.5/2.4/2.3/2.2。

4、增強的流式聚合:Flink 1.13增強了流式聚合的功能,users可以在聚合時使用更豐富的表達式。

四、Flink版本查看

查詢Flink版本有兩種方法:

1、通過log查看版本號:

> tail -f log/flink-*-standalonesession-*.log

Flink Version: 1.10.0

2、通過Flink Web UI查看版本號。

五、Flink版本升級

單擊此處以查看Flink版本升級的詳細過程。

1.備份並停止集群:在執行升級之前,需要先停止Flink集群並備份數據了,以防止數據丟失。一旦備份完成,停止flink集群。

2.更新Flink文件:現在可以將新的Flink文件複製到所有節點中去。

3.重啟所有節點:

./bin/stop-cluster.sh
./bin/start-cluster.sh

4.檢查所有節點日誌以確認是否成功。

tail -500f log/flink-*-standalonesession-*.log | grep "version"

六、Flink版本差異

1.Flink 1.9:它引入了Flink-ELib,可以用於應用程序的通用數據訪問(讀/寫),可以使用各種數據源和存儲模式。

2.Flink 1.10:將基於Akka交換站重新實現為基於Netty的交換站。新的交換站提供更好的吞吐量、更好的延遲,並減少了Flink自身的內存佔用。

3.Flink 1.11:引入了針對批處理優化的功能,允許Flink為事務級別的批處理任務生成兩階段提交協議。

4.Flink 1.12:針對Flink SQL和Table API的Python支持,允許使用Python API和SQL來開發和編寫Flink作業。

七、啟動Flink集群

1.啟動Flink集群:

./bin/start-cluster.sh

2.查看集群:

./bin/flink list -m localhost:8081

3.打開Flink Web UI:

在瀏覽器中輸入http://localhost:8081,即可打開Flink Web UI界面。

八、Apache Flink

Apache Flink是一個開源的流處理框架,可以用於流式處理和批處理。Flink基於Java平台,可以以類似於MapReduce的編程方式來處理數據。Flink使用了一種基於流模型的編程範式,它可以對無限的數據流進行高效的處理。

目前,Flink已經是最受歡迎的流處理引擎之一,被多個行業廣泛應用,例如金融、電商、物流等領域。它的優點是處理速度非常快,可以在流式處理中處理大量的數據。

原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/186729.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
小藍的頭像小藍
上一篇 2024-11-27 05:48
下一篇 2024-11-27 05:56

相關推薦

  • Git secbit:一種新型的安全Git版本

    Git secbit是一種新型的安全Git版本,它在保持Git原有功能的同時,針對Git存在的安全漏洞做出了很大的改進。下面我們將從多個方面對Git secbit做詳細地闡述。 一…

    編程 2025-04-29
  • 如何將Java項目分成Modules並使用Git進行版本控制

    本文將向您展示如何將Java項目分成模塊,並使用Git對它們進行版本控制。分割Java項目可以使其更容易維護和拓展。Git版本控制還可以讓您跟蹤項目的發展並協作開發。 一、為什麼要…

    編程 2025-04-28
  • Python的版本演變

    Python是一門非常流行的編程語言,它有着簡潔、易讀、易寫的特點。自1991年由Guido van Rossum發明以來,Python已經發展成為一個成熟的編程語言,擁有多個版本…

    編程 2025-04-28
  • librosa版本用法介紹

    librosa是一個用於音頻信號處理的python庫,具有多種處理音頻的功能。在librosa庫中,版本號非常重要,在不同的版本中可能會存在一些差異。本文將圍繞librosa的版本…

    編程 2025-04-28
  • Java多版本支持實現方式

    本文將從以下幾個方面闡述如何實現Java多版本支持,並給出可行的代碼示例。 一、多版本Java環境概述 Java是一門跨平台的編程語言,但是在不同的應用場景下,可能需要使用不同版本…

    編程 2025-04-27
  • Taro3.5.11版本微信小程序端v-html依然無法解析video為中心的問題解決方案

    該問題的解決是通過使用 Taro3.5.11 版本自定義組件進行處理,具體解決方案如下: 一、自定義組件 首先,我們需要創建一個自定義組件 VideoComponent,該組件的主…

    編程 2025-04-27
  • 利用SeaweedFS版本進行大規模文件存儲與分配

    SeaweedFS是一個基於Go語言開發的分布式文件系統,它是一種高可用、高擴展性、高效率的解決方案。通過利用SeaweedFS版本,我們可以方便地實現大規模文件的存儲與分配。 一…

    編程 2025-04-27
  • Python多版本共存Ubuntu

    本文將介紹如何在Ubuntu系統中完美地編譯、安裝、配置多個Python版本,並且讓它們共存,以利於不同的Python應用程序的開發和執行。 一、安裝多個Python版本 Ubun…

    編程 2025-04-27
  • 如何查Python的版本

    Python是一種高級編程語言,是當今最流行的編程語言之一。雖然Python編程語言非常易學易用,但是它的版本問題可能會讓新手有些困惑。那麼,如何查Python的版本呢?以下是一些…

    編程 2025-04-27
  • 指定Python版本安裝庫的方法

    為了保證項目的可遷移性,項目中需要指定Python版本。然而,有時候在指定版本的情況下,我們需要安裝一些庫。本文將介紹如何在Python中指定特定版本並安裝庫。 一、指定Pytho…

    編程 2025-04-27

發表回復

登錄後才能評論