一、Flink版本表
Flink作為應用廣泛的實時流處理引擎,每個版本都不斷地進行優化和更新。Flink版本表中記錄了所有Flink的歷史版本及其發布日期、狀態,用戶可以通過官方網站查看。在版本表中,對Flink版本的狀態分為三種,分別為:Experimental、Stable、Maintenance。
Experimental:實驗版本,有一些新功能或實驗性質的變化,一些API接口可能發生變化。
Stable:穩定版本,在經歷一段試用期後,已被大多數用戶採納,該版本的API接口不會再發生變化,而且在該版本上會修復很多bug。
Maintenance:維護版本,在該版本上不會引入新的特性,主要是修復已知的bug和安全問題。
二、Flink啟動命令
在Flink的安裝目錄下bin目錄中,可以看到啟動腳本,即flink run。使用flink run可以啟動一個Flink作業。例如,啟動一個jobmanager:
./bin/start-cluster.sh
Flink還提供了web頁面,可以通過web頁面對Flink集群進行監控和管理。啟動該web頁面可以使用如下命令:
./bin/start-web.sh
三、Flink版本1.13
Flink 1.13是一個很有趣的版本,它新增了很多新的功能。
1、Statful Functions:這是一種全新的應用程序編寫模式,可以使流處理應用程序更靈活,更易於開發維護。
2、Python Table API和SQL:Flink 1.13的Table API和SQL支持Python,用戶可以使用Python API和SQL執行流處理任務。
3、擴展Apache Kafka Connector:新版本擴展了Flink的Kafka連接器,使其支持新的kafka版本,包括Kafka 2.8/2.7/2.6/2.5/2.4/2.3/2.2。
4、增強的流式聚合:Flink 1.13增強了流式聚合的功能,users可以在聚合時使用更豐富的表達式。
四、Flink版本查看
查詢Flink版本有兩種方法:
1、通過log查看版本號:
> tail -f log/flink-*-standalonesession-*.log
Flink Version: 1.10.0
2、通過Flink Web UI查看版本號。
五、Flink版本升級
單擊此處以查看Flink版本升級的詳細過程。
1.備份並停止集群:在執行升級之前,需要先停止Flink集群並備份數據了,以防止數據丟失。一旦備份完成,停止flink集群。
2.更新Flink文件:現在可以將新的Flink文件複製到所有節點中去。
3.重啟所有節點:
./bin/stop-cluster.sh
./bin/start-cluster.sh
4.檢查所有節點日誌以確認是否成功。
tail -500f log/flink-*-standalonesession-*.log | grep "version"
六、Flink版本差異
1.Flink 1.9:它引入了Flink-ELib,可以用於應用程序的通用數據訪問(讀/寫),可以使用各種數據源和存儲模式。
2.Flink 1.10:將基於Akka交換站重新實現為基於Netty的交換站。新的交換站提供更好的吞吐量、更好的延遲,並減少了Flink自身的內存佔用。
3.Flink 1.11:引入了針對批處理優化的功能,允許Flink為事務級別的批處理任務生成兩階段提交協議。
4.Flink 1.12:針對Flink SQL和Table API的Python支持,允許使用Python API和SQL來開發和編寫Flink作業。
七、啟動Flink集群
1.啟動Flink集群:
./bin/start-cluster.sh
2.查看集群:
./bin/flink list -m localhost:8081
3.打開Flink Web UI:
在瀏覽器中輸入http://localhost:8081,即可打開Flink Web UI界面。
八、Apache Flink
Apache Flink是一個開源的流處理框架,可以用於流式處理和批處理。Flink基於Java平台,可以以類似於MapReduce的編程方式來處理數據。Flink使用了一種基於流模型的編程範式,它可以對無限的數據流進行高效的處理。
目前,Flink已經是最受歡迎的流處理引擎之一,被多個行業廣泛應用,例如金融、電商、物流等領域。它的優點是處理速度非常快,可以在流式處理中處理大量的數據。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hant/n/186729.html