Docker啟動Kafka詳解

一、Docker啟動Kafka集群

使用Docker啟動Kafka集群，通常需要啟動多個Kafka服務以構成集群。可通過以下步驟進行啟動：

1、首先需要，編寫“`docker-compose.yml“`文件，參考如下：

version: '2'
services:
  zoo1:
    image: zookeeper:3.4
    restart: always
    hostname: zoo1
    container_name: zoo1
    ports:
      - "2181:2181"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
      
  zoo2:
    image: zookeeper:3.4
    restart: always
    hostname: zoo2
    container_name: zoo2
    ports:
      - "2182:2181"
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
  
  zoo3:
    image: zookeeper:3.4
    restart: always
    hostname: zoo3
    container_name: zoo3
    ports:
      - "2183:2181"
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  kafka1:
    image: wurstmeister/kafka:2.12-2.4.0
    restart: always
    hostname: kafka1
    container_name: kafka1
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181/kafka
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_CREATE_TOPICS: "test:3:1"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      
  kafka2:
    image: wurstmeister/kafka:2.12-2.4.0
    restart: always
    hostname: kafka2
    container_name: kafka2
    ports:
      - "9093:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9093
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181/kafka
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_CREATE_TOPICS: "test:3:1"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

上述文件定義了Docker容器中的Zookeeper和Kafka服務，其中Zookeeper的容器名為zoo1、zoo2、zoo3，埠均為2181；Kafka的容器名為kafka1、kafka2，埠均為9092、9093，同時通過Kafka所依賴的Zookeeper集群提供服務。

2、運行“`docker-compose up -d“`命令啟動服務，等待服務啟動完成即可。

二、Docker啟動Kafka設置超時時間

啟動Kafka服務時，服務可能因為網路原因等無法啟動，會出現超時情況。可以通過設置超時時間來解決該問題，具體方法如下：

1、在Kafka的啟動命令前，設置超時時間的環境變數，如下：

export KAFKA_START_TIMEOUT=300

2、啟動Kafka服務，等待服務啟動完成。如果服務未成功啟動，可能需要延長超時時間，再次啟動服務。

三、Docker啟動Kafka映射

Docker啟動Kafka時，可以將本機目錄與容器目錄進行映射，使得在容器中對文件的修改也能夠反映到宿主機上。

1、在啟動Kafka服務時，通過“`-v“`選項掛載本地目錄，如下：

docker run -d --name mykafka \
-e KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 \
-p 9092:9092 \
-v /path/to/local:/path/to/remote \
wurstmeister/kafka

其中，“`/path/to/local“`為宿主機目錄，“`/path/to/remote“`為容器中的目錄。

2、在容器中修改文件後，宿主機中的文件也會同步更新。同樣，宿主機中的文件修改也會同步到容器中。

四、Docker啟動Kafka報超時

在Docker啟動Kafka服務時，可能會出現超時錯誤，這時需要按照以下步驟進行處理：

1、檢查網路是否正常，Kafka服務是否已啟動，Zookeeper是否已開啟。

2、檢查容器中的進程是否已正常啟動，通過“`docker logs [容器名稱]“`命令查看容器日誌。

3、檢查Docker的服務埠是否開啟，通過“`netstat -lntp“`命令查看埠是否已開啟。

五、Docker啟動Kafka自動退

Docker啟動Kafka時，可能會因為內存不足等原因出現自動退問題。以下是解決方法：

1、檢查宿主機內存是否已滿，解決內存不足問題，可以嘗試釋放內存或增加宿主機內存。

2、可以通過修改JVM內存設置來解決自動退問題。在“`docker-compose.yml“`文件中，可以添加以下配置項：

environment:
  KAFKA_HEAP_OPTS: "-Xmx512M -Xms512M"

其中“`-Xmx“`和“`-Xms“`分別為JVM最大堆內存和最小堆內存的大小，增加這兩個參數將改變Kafka服務進程分配的JVM內存大小。

六、Docker啟動Kafka完整命令

下面是一個完整的Docker啟動Kafka服務的命令：

docker run -d --name mykafka \
-e KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 \
-p 9092:9092 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.0.106:2181 \
--env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=2 \
wurstmeister/kafka

其中，“`-e“`選項添加了“`KAFKA_ADVERTISED_HOST_NAME“`和“`KAFKA_ZOOKEEPER_CONNECT“`兩個環境變數，用於指定Kafka服務主機名和Zookeeper連接地址。“`–env“`選項另外添加了“`KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR“`環境變數，用於指定偏移量主題數據的複製因子數量。

七、Docker啟動Kafka啟動不了

如果Docker無法啟動Kafka服務，可以按照以下步驟進行處理：

1、檢查容器狀態是否正常，可以通過“`docker ps -a“`命令查看容器的狀態。

2、檢查Docker配置是否錯誤或不完整，需要檢查“`docker-compose.yml“`文件中的配置是否正確。

3、檢查Kafka服務進程的日誌文件，通過“`docker logs [容器名稱]“`命令查看容器的日誌信息，查找錯誤原因。

八、Docker啟動Kafka報錯classpath

在Docker啟動Kafka時，有可能會因為類路徑設置錯誤而報錯。可以通過以下方法解決該問題：

1、檢查環境變數是否配置正確，需要檢查“`-e“`選項指定的環境變數是否正確。

2、檢查Docker鏡像是否正確，可以通過“`docker images“`命令查看本地鏡像信息。

3、檢查容器中的Java運行路徑，可以通過“`docker exec -it [容器名稱] sh“`命令進入容器中查看。

九、Docker啟動容器

Docker啟動Kafka的過程實際上是啟動Kafka所依賴的其他容器，如Zookeeper服務容器。因此，在啟動Kafka之前，需要先啟動其他相關容器。以下是一些常用的啟動相關容器的命令：

1、啟動Zookeeper容器：

docker run -dit --name myzookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 zookeeper

2、啟動Kafka容器：

docker run -d --name mykafka -p 9092:9092 --env KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 --env KAFKA_ZOOKEEPER_CONNECT=192.168.0.106:2181 wurstmeister/kafka

該命令中，“`-p“`選項指定了Kafka暴露的埠，“`–env“`選項指定了Kafka服務主機名和Zookeeper連接地址。

十、Docker啟動tar包

在Docker啟動Kafka服務時，有時需要使用Kafka的tar包進行啟動。以下是具體步驟：

1、上傳tar包至宿主機中，例如上傳至“`/usr/src“`目錄下。

2、進入該目錄，解壓tar包，解壓後目錄為“`kafka_2.12-2.7.0“`。

tar zxvf kafka_2.12-2.7.0.tgz

3、編寫“`docker-compose.yaml“`文件，參考如下：

version: '2'
services:
  kafka:
    image: wurstmeister/kafka:2.12-2.4.0
    hostname: kafka
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LOG_DIRS: /kafka/logs
      KAFKA_HEAP_OPTS: "-Xmx512M -Xms512M"
    volumes:
      - /usr/src/kafka_2.12-2.7.0:/kafka

  zookeeper:
    image: zookeeper:3.4.9
    hostname: zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zookeeper:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888

4、運行“`docker-compose up“`命令啟動服務。

總之，Docker啟動Kafka服務，可以通過以上解決方案解決問題，並按需修改配置文件以達到最佳效果。