kafka

一、消费者组 Kafka的消费者模型是基于消费者组的，消费者组中包含多个消费者，每个消费者负责消费一个或多个分区中的消息。同一个消费者组中的消费者可以同时消费同一个主题(topic…

一、认识Kafka Kafka 是一个分布式的流处理系统。它最初是由 LinkedIn 公司开发的，后来被 Apache 软件基金会接手。Kafka 能够处理大量的流式数据，并且它…

一、Kafka持久化介绍 Kafka是一个分布式流处理平台，最初由LinkedIn公司开发。 它通过将消息存储在多个服务器节点中来提供高容错性，并提供拉取和发布消息的API。 Ka…

一、Hologres实时数仓评价 Hologres 作为一个千亿级企业级实时数据仓库，在企业级数据仓库的领域中具有很高的竞争力。它采用分布式架构，具有数据一致性和可扩展性，可以快速…

一、安装Java环境 1、首先检查操作系统中是否已经安装好了Java环境。在终端输入命令： java -version 如果操作系统尚未安装Java环境，会提示“Command n…

一、安装Docker Docker是一款用于构建、发布和运行应用程序的开源工具。在安装之前，需要确定服务器上没有安装旧版本的Docker。 1. 更新所有已安装的软件列表： sud…

一、Kafka认证概述 Kafka是一个分布式流平台，提供了数据发布和订阅机制。它设计用于高吞吐量、可扩展性和容错性。然而，Kafka本身没有内置的安全机制，任何拥有访问Kafka…

一、Kafka概述 Kafka是一个分布式、可横向扩展的消息队列，是一种高吞吐量的分布式发布订阅消息系统。Kafka的设计目标是：将发布者与订阅者解耦，同时提高消息处理速度。Kaf…

一、ELK简介 1、ELK是由三部分组成，即Elasticsearch、Logstash和Kibana，是目前最流行的开源日志分析与搜索引擎方案。 2、Elasticsearch是…

一、单机版Kafka安装 在学习Kafka之前，我们需要先安装单机版的Kafka。 1、下载Kafka包在Kafka的官网上可以下载到Kafka的安装包，下载完成后解压到指定目录。…

一、Docker Compose简介 Docker Compose是一个工具，它可用于通过单个docker-compose.yml文件定义和运行多个Docker容器应用程序。它使开…

Kafka是一个高吞吐量分布式消息系统，被广泛应用于数据传输中。在Kafka中，一些场景下需要保证消息不丢失也不被重复消费，本文将从多个方面对这个问题进行阐述。 一、消息持久化 K…

一、Flume和Kafka的简介 Flume和Kafka都是实时数据传输平台，它们可以用于将数据从一个地方（例如Web服务器或其他数据源）发送到另一个地方（例如数据库或Hadoop…

一、Kafka事务消息 Kafka事务消息借鉴了数据库事务的概念，保证消息队列的原子性操作。 事务消息的本质是在生产者端为每个事务维护一个事务ID，并将所有的消息记录下来，一旦出现…

一、Kafka简介 Apache Kafka是一个基于发布/订阅模式的分布式流处理平台，由LinkedIn开发，以高吞吐量、可扩展性、持久性等特点而闻名。它主要由Kafka Bro…