kafka

一、消費者組 Kafka的消費者模型是基於消費者組的，消費者組中包含多個消費者，每個消費者負責消費一個或多個分區中的消息。同一個消費者組中的消費者可以同時消費同一個主題(topic…

一、認識Kafka Kafka 是一個分佈式的流處理系統。它最初是由 LinkedIn 公司開發的，後來被 Apache 軟件基金會接手。Kafka 能夠處理大量的流式數據，並且它…

一、Kafka持久化介紹 Kafka是一個分佈式流處理平台，最初由LinkedIn公司開發。 它通過將消息存儲在多個服務器節點中來提供高容錯性，並提供拉取和發佈消息的API。 Ka…

一、Hologres實時數倉評價 Hologres 作為一個千億級企業級實時數據倉庫，在企業級數據倉庫的領域中具有很高的競爭力。它採用分佈式架構，具有數據一致性和可擴展性，可以快速…

一、安裝Java環境 1、首先檢查操作系統中是否已經安裝好了Java環境。在終端輸入命令： java -version 如果操作系統尚未安裝Java環境，會提示「Command n…

一、安裝Docker Docker是一款用於構建、發佈和運行應用程序的開源工具。在安裝之前，需要確定服務器上沒有安裝舊版本的Docker。 1. 更新所有已安裝的軟件列表： sud…

一、Kafka認證概述 Kafka是一個分佈式流平台，提供了數據發佈和訂閱機制。它設計用於高吞吐量、可擴展性和容錯性。然而，Kafka本身沒有內置的安全機制，任何擁有訪問Kafka…

一、Kafka概述 Kafka是一個分佈式、可橫向擴展的消息隊列，是一種高吞吐量的分佈式發佈訂閱消息系統。Kafka的設計目標是：將發佈者與訂閱者解耦，同時提高消息處理速度。Kaf…

一、ELK簡介 1、ELK是由三部分組成，即Elasticsearch、Logstash和Kibana，是目前最流行的開源日誌分析與搜索引擎方案。 2、Elasticsearch是…

一、單機版Kafka安裝 在學習Kafka之前，我們需要先安裝單機版的Kafka。 1、下載Kafka包在Kafka的官網上可以下載到Kafka的安裝包，下載完成後解壓到指定目錄。…

一、Docker Compose簡介 Docker Compose是一個工具，它可用於通過單個docker-compose.yml文件定義和運行多個Docker容器應用程序。它使開…

Kafka是一個高吞吐量分佈式消息系統，被廣泛應用於數據傳輸中。在Kafka中，一些場景下需要保證消息不丟失也不被重複消費，本文將從多個方面對這個問題進行闡述。 一、消息持久化 K…

一、Flume和Kafka的簡介 Flume和Kafka都是實時數據傳輸平台，它們可以用於將數據從一個地方（例如Web服務器或其他數據源）發送到另一個地方（例如數據庫或Hadoop…

一、Kafka事務消息 Kafka事務消息借鑒了數據庫事務的概念，保證消息隊列的原子性操作。 事務消息的本質是在生產者端為每個事務維護一個事務ID，並將所有的消息記錄下來，一旦出現…

一、Kafka簡介 Apache Kafka是一個基於發佈/訂閱模式的分佈式流處理平台，由LinkedIn開發，以高吞吐量、可擴展性、持久性等特點而聞名。它主要由Kafka Bro…