全方位阐述Flink版本

一、Flink版本表

Flink作为应用广泛的实时流处理引擎,每个版本都不断地进行优化和更新。Flink版本表中记录了所有Flink的历史版本及其发布日期、状态,用户可以通过官方网站查看。在版本表中,对Flink版本的状态分为三种,分别为:Experimental、Stable、Maintenance。

Experimental:实验版本,有一些新功能或实验性质的变化,一些API接口可能发生变化。

Stable:稳定版本,在经历一段试用期后,已被大多数用户采纳,该版本的API接口不会再发生变化,而且在该版本上会修复很多bug。

Maintenance:维护版本,在该版本上不会引入新的特性,主要是修复已知的bug和安全问题。

二、Flink启动命令

在Flink的安装目录下bin目录中,可以看到启动脚本,即flink run。使用flink run可以启动一个Flink作业。例如,启动一个jobmanager:

./bin/start-cluster.sh

Flink还提供了web页面,可以通过web页面对Flink集群进行监控和管理。启动该web页面可以使用如下命令:

./bin/start-web.sh

三、Flink版本1.13

Flink 1.13是一个很有趣的版本,它新增了很多新的功能。

1、Statful Functions:这是一种全新的应用程序编写模式,可以使流处理应用程序更灵活,更易于开发维护。

2、Python Table API和SQL:Flink 1.13的Table API和SQL支持Python,用户可以使用Python API和SQL执行流处理任务。

3、扩展Apache Kafka Connector:新版本扩展了Flink的Kafka连接器,使其支持新的kafka版本,包括Kafka 2.8/2.7/2.6/2.5/2.4/2.3/2.2。

4、增强的流式聚合:Flink 1.13增强了流式聚合的功能,users可以在聚合时使用更丰富的表达式。

四、Flink版本查看

查询Flink版本有两种方法:

1、通过log查看版本号:

> tail -f log/flink-*-standalonesession-*.log

Flink Version: 1.10.0

2、通过Flink Web UI查看版本号。

五、Flink版本升级

单击此处以查看Flink版本升级的详细过程。

1.备份并停止集群:在执行升级之前,需要先停止Flink集群并备份数据了,以防止数据丢失。一旦备份完成,停止flink集群。

2.更新Flink文件:现在可以将新的Flink文件复制到所有节点中去。

3.重启所有节点:

./bin/stop-cluster.sh
./bin/start-cluster.sh

4.检查所有节点日志以确认是否成功。

tail -500f log/flink-*-standalonesession-*.log | grep "version"

六、Flink版本差异

1.Flink 1.9:它引入了Flink-ELib,可以用于应用程序的通用数据访问(读/写),可以使用各种数据源和存储模式。

2.Flink 1.10:将基于Akka交换站重新实现为基于Netty的交换站。新的交换站提供更好的吞吐量、更好的延迟,并减少了Flink自身的内存占用。

3.Flink 1.11:引入了针对批处理优化的功能,允许Flink为事务级别的批处理任务生成两阶段提交协议。

4.Flink 1.12:针对Flink SQL和Table API的Python支持,允许使用Python API和SQL来开发和编写Flink作业。

七、启动Flink集群

1.启动Flink集群:

./bin/start-cluster.sh

2.查看集群:

./bin/flink list -m localhost:8081

3.打开Flink Web UI:

在浏览器中输入http://localhost:8081,即可打开Flink Web UI界面。

八、Apache Flink

Apache Flink是一个开源的流处理框架,可以用于流式处理和批处理。Flink基于Java平台,可以以类似于MapReduce的编程方式来处理数据。Flink使用了一种基于流模型的编程范式,它可以对无限的数据流进行高效的处理。

目前,Flink已经是最受欢迎的流处理引擎之一,被多个行业广泛应用,例如金融、电商、物流等领域。它的优点是处理速度非常快,可以在流式处理中处理大量的数据。

原创文章,作者:小蓝,如若转载,请注明出处:https://www.506064.com/n/186729.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小蓝小蓝
上一篇 2024-11-27 05:48
下一篇 2024-11-27 05:56

相关推荐

  • Git secbit:一种新型的安全Git版本

    Git secbit是一种新型的安全Git版本,它在保持Git原有功能的同时,针对Git存在的安全漏洞做出了很大的改进。下面我们将从多个方面对Git secbit做详细地阐述。 一…

    编程 2025-04-29
  • 如何将Java项目分成Modules并使用Git进行版本控制

    本文将向您展示如何将Java项目分成模块,并使用Git对它们进行版本控制。分割Java项目可以使其更容易维护和拓展。Git版本控制还可以让您跟踪项目的发展并协作开发。 一、为什么要…

    编程 2025-04-28
  • Python的版本演变

    Python是一门非常流行的编程语言,它有着简洁、易读、易写的特点。自1991年由Guido van Rossum发明以来,Python已经发展成为一个成熟的编程语言,拥有多个版本…

    编程 2025-04-28
  • librosa版本用法介绍

    librosa是一个用于音频信号处理的python库,具有多种处理音频的功能。在librosa库中,版本号非常重要,在不同的版本中可能会存在一些差异。本文将围绕librosa的版本…

    编程 2025-04-28
  • Java多版本支持实现方式

    本文将从以下几个方面阐述如何实现Java多版本支持,并给出可行的代码示例。 一、多版本Java环境概述 Java是一门跨平台的编程语言,但是在不同的应用场景下,可能需要使用不同版本…

    编程 2025-04-27
  • Taro3.5.11版本微信小程序端v-html依然无法解析video为中心的问题解决方案

    该问题的解决是通过使用 Taro3.5.11 版本自定义组件进行处理,具体解决方案如下: 一、自定义组件 首先,我们需要创建一个自定义组件 VideoComponent,该组件的主…

    编程 2025-04-27
  • 利用SeaweedFS版本进行大规模文件存储与分配

    SeaweedFS是一个基于Go语言开发的分布式文件系统,它是一种高可用、高扩展性、高效率的解决方案。通过利用SeaweedFS版本,我们可以方便地实现大规模文件的存储与分配。 一…

    编程 2025-04-27
  • Python多版本共存Ubuntu

    本文将介绍如何在Ubuntu系统中完美地编译、安装、配置多个Python版本,并且让它们共存,以利于不同的Python应用程序的开发和执行。 一、安装多个Python版本 Ubun…

    编程 2025-04-27
  • 如何查Python的版本

    Python是一种高级编程语言,是当今最流行的编程语言之一。虽然Python编程语言非常易学易用,但是它的版本问题可能会让新手有些困惑。那么,如何查Python的版本呢?以下是一些…

    编程 2025-04-27
  • 指定Python版本安装库的方法

    为了保证项目的可迁移性,项目中需要指定Python版本。然而,有时候在指定版本的情况下,我们需要安装一些库。本文将介绍如何在Python中指定特定版本并安装库。 一、指定Pytho…

    编程 2025-04-27

发表回复

登录后才能评论