Kafka 安裝指南

一、安裝準備

1、確保本機已安裝了 Java 環境，並且 Java 版本需要在 1.8 及以上。

2、從 Kafka 官方網站 http://kafka.apache.org/downloads 下載最新版本的 Kafka 壓縮包文件。

3、下載完成後解壓至指定目錄。

cd /usr/local
sudo wget https://dlcdn.apache.org//kafka/3.0.0/kafka_2.13-3.0.0.tgz
sudo tar -zxf kafka_2.13-3.0.0.tgz
cd kafka_2.13-3.0.0

二、Kafka 單節點安裝

1、修改 server.properties 配置文件。

首先，進入 Kafka 主目錄，並修改 config 目錄下的 server.properties 文件（默認即可）。

cd /usr/local/kafka_2.13-3.0.0/config
sudo vim server.properties

進行以下配置，按需修改。

broker.id=0 #所屬節點的編號

listeners=PLAINTEXT://127.0.0.1:9092 #訪問地址，為了方便演示，只能在本地訪問

num.network.threads=3 #網絡線程數

num.io.threads=8 #磁盤I/O線程數

socket.send.buffer.bytes=102400 #發送緩衝區大小

socket.receive.buffer.bytes=102400 #接收緩衝區大小

socket.request.max.bytes=104857600 #一次請求最大位元組數

log.dirs=/tmp/kafka-logs #日誌存放位置

num.partitions=1 #分區數

num.recovery.threads.per.data.dir=1 #數據恢複線程數

auto.create.topics.enable=true #是否允許自動創建 Topic

log.retention.hours=168 #日誌文件保留時間（小時）

log.segment.bytes=1073741824 #日誌文件分片大小

log.retention.check.interval.ms=300000 #日誌文件刪除間隔時間（毫秒）

保存並退出。

2、啟動 ZooKeeper 服務器。

由於 Kafka 基於 ZooKeeper 操作，需要先確保 ZooKeeper 服務器正常運行。

cd /usr/local/kafka_2.13-3.0.0
sudo bin/zookeeper-server-start.sh config/zookeeper.properties

3、啟動 Kafka 服務。

cd /usr/local/kafka_2.13-3.0.0
sudo bin/kafka-server-start.sh config/server.properties

當看到如下輸出時，證明 Kafka 服務啟動成功。

[2021-11-10 14:48:52,107] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

三、Kafka 集群安裝

1、修改 server.properties 配置文件。

修改 Kafka 主目錄下的 config 目錄中 server.properties 文件，按需配置。

cd /usr/local/kafka_2.13-3.0.0/config
sudo vim server.properties

broker.id=0 #節點 ID

listeners=PLAINTEXT://192.168.1.100:9092 #訪問地址，按照集群機器的 IP 和端口進行配置

zookeeper.connect=192.168.1.100:2181,192.168.1.101:2181,192.168.1.102:2181 #ZooKeeper 地址

num.network.threads=3 #網絡線程數

num.io.threads=8 #磁盤 I/O 線程數

socket.send.buffer.bytes=102400 #發送緩衝區大小

socket.receive.buffer.bytes=102400 #接收緩衝區大小

socket.request.max.bytes=104857600 #一次請求最大位元組數

log.dirs=/data/kafka/kafka-logs #日誌存放位置，按照實際情況進行配置

num.partitions=3 #分區數，按照實際情況進行配置

num.recovery.threads.per.data.dir=1 #數據恢複線程數

auto.create.topics.enable=true #是否允許自動創建 Topic

log.retention.hours=168 #日誌文件保留時間（小時）

log.segment.bytes=1073741824 #日誌文件分片大小

log.retention.check.interval.ms=300000 #日誌文件刪除間隔時間（毫秒）

2、修改 ZooKeeper 配置文件。

需要修改 Kafka 主目錄下 config 目錄中 zookeeper.properties 文件，添加如下配置。

cd /usr/local/kafka_2.13-3.0.0/config
sudo vim zookeeper.properties

dataDir=/data/zookeeper/data # ZooKeeper 數據存放路徑，按照實際情況進行配置

clientPort=2181 # ZooKeeper 端口號，按照實際情況進行配置

initLimit=5 # 集群中單個節點與 Zookeeper 建立連接的最長時間

syncLimit=2 # ZooKeeper 處理請求的最大時間

server.1=192.168.1.100:2888:3888 #ZooKeeper 集群節點 1

server.2=192.168.1.101:2888:3888 #ZooKeeper 集群節點 2

server.3=192.168.1.102:2888:3888 #ZooKeeper 集群節點 3

3、啟動 ZooKeeper 服務。

cd /usr/local/kafka_2.13-3.0.0
sudo bin/zookeeper-server-start.sh config/zookeeper.properties

4、啟動 Kafka 服務。

cd /usr/local/kafka_2.13-3.0.0
sudo bin/kafka-server-start.sh config/server.properties

當看到如下輸出時，證明 Kafka 服務啟動成功。

[2021-11-10 14:48:52,107] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

四、總結

Kafka 是一個分佈式的消息系統，具有高吞吐量、高可靠性、高擴展性等特點，在現代企業開發中扮演着越來越重要的角色。本文從安裝角度出發，分別介紹了 Kafka 單節點安裝和 Kafka 集群安裝的步驟。如需在生產環境中使用 Kafka，建議用戶按照官方文檔詳細配置，確保其穩定性和高可用性。