Docker启动Kafka详解

一、Docker启动Kafka集群

使用Docker启动Kafka集群，通常需要启动多个Kafka服务以构成集群。可通过以下步骤进行启动：

1、首先需要，编写“`docker-compose.yml“`文件，参考如下：

version: '2'
services:
  zoo1:
    image: zookeeper:3.4
    restart: always
    hostname: zoo1
    container_name: zoo1
    ports:
      - "2181:2181"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
      
  zoo2:
    image: zookeeper:3.4
    restart: always
    hostname: zoo2
    container_name: zoo2
    ports:
      - "2182:2181"
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
  
  zoo3:
    image: zookeeper:3.4
    restart: always
    hostname: zoo3
    container_name: zoo3
    ports:
      - "2183:2181"
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  kafka1:
    image: wurstmeister/kafka:2.12-2.4.0
    restart: always
    hostname: kafka1
    container_name: kafka1
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181/kafka
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_CREATE_TOPICS: "test:3:1"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      
  kafka2:
    image: wurstmeister/kafka:2.12-2.4.0
    restart: always
    hostname: kafka2
    container_name: kafka2
    ports:
      - "9093:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9093
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181/kafka
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true'
      KAFKA_CREATE_TOPICS: "test:3:1"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock

上述文件定义了Docker容器中的Zookeeper和Kafka服务，其中Zookeeper的容器名为zoo1、zoo2、zoo3，端口均为2181；Kafka的容器名为kafka1、kafka2，端口均为9092、9093，同时通过Kafka所依赖的Zookeeper集群提供服务。

2、运行“`docker-compose up -d“`命令启动服务，等待服务启动完成即可。

二、Docker启动Kafka设置超时时间

启动Kafka服务时，服务可能因为网络原因等无法启动，会出现超时情况。可以通过设置超时时间来解决该问题，具体方法如下：

1、在Kafka的启动命令前，设置超时时间的环境变量，如下：

export KAFKA_START_TIMEOUT=300

2、启动Kafka服务，等待服务启动完成。如果服务未成功启动，可能需要延长超时时间，再次启动服务。

三、Docker启动Kafka映射

Docker启动Kafka时，可以将本机目录与容器目录进行映射，使得在容器中对文件的修改也能够反映到宿主机上。

1、在启动Kafka服务时，通过“`-v“`选项挂载本地目录，如下：

docker run -d --name mykafka \
-e KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 \
-p 9092:9092 \
-v /path/to/local:/path/to/remote \
wurstmeister/kafka

其中，“`/path/to/local“`为宿主机目录，“`/path/to/remote“`为容器中的目录。

2、在容器中修改文件后，宿主机中的文件也会同步更新。同样，宿主机中的文件修改也会同步到容器中。

四、Docker启动Kafka报超时

在Docker启动Kafka服务时，可能会出现超时错误，这时需要按照以下步骤进行处理：

1、检查网络是否正常，Kafka服务是否已启动，Zookeeper是否已开启。

2、检查容器中的进程是否已正常启动，通过“`docker logs [容器名称]“`命令查看容器日志。

3、检查Docker的服务端口是否开启，通过“`netstat -lntp“`命令查看端口是否已开启。

五、Docker启动Kafka自动退

Docker启动Kafka时，可能会因为内存不足等原因出现自动退问题。以下是解决方法：

1、检查宿主机内存是否已满，解决内存不足问题，可以尝试释放内存或增加宿主机内存。

2、可以通过修改JVM内存设置来解决自动退问题。在“`docker-compose.yml“`文件中，可以添加以下配置项：

environment:
  KAFKA_HEAP_OPTS: "-Xmx512M -Xms512M"

其中“`-Xmx“`和“`-Xms“`分别为JVM最大堆内存和最小堆内存的大小，增加这两个参数将改变Kafka服务进程分配的JVM内存大小。

六、Docker启动Kafka完整命令

下面是一个完整的Docker启动Kafka服务的命令：

docker run -d --name mykafka \
-e KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 \
-p 9092:9092 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.0.106:2181 \
--env KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=2 \
wurstmeister/kafka

其中，“`-e“`选项添加了“`KAFKA_ADVERTISED_HOST_NAME“`和“`KAFKA_ZOOKEEPER_CONNECT“`两个环境变量，用于指定Kafka服务主机名和Zookeeper连接地址。“`–env“`选项另外添加了“`KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR“`环境变量，用于指定偏移量主题数据的复制因子数量。

七、Docker启动Kafka启动不了

如果Docker无法启动Kafka服务，可以按照以下步骤进行处理：

1、检查容器状态是否正常，可以通过“`docker ps -a“`命令查看容器的状态。

2、检查Docker配置是否错误或不完整，需要检查“`docker-compose.yml“`文件中的配置是否正确。

3、检查Kafka服务进程的日志文件，通过“`docker logs [容器名称]“`命令查看容器的日志信息，查找错误原因。

八、Docker启动Kafka报错classpath

在Docker启动Kafka时，有可能会因为类路径设置错误而报错。可以通过以下方法解决该问题：

1、检查环境变量是否配置正确，需要检查“`-e“`选项指定的环境变量是否正确。

2、检查Docker镜像是否正确，可以通过“`docker images“`命令查看本地镜像信息。

3、检查容器中的Java运行路径，可以通过“`docker exec -it [容器名称] sh“`命令进入容器中查看。

九、Docker启动容器

Docker启动Kafka的过程实际上是启动Kafka所依赖的其他容器，如Zookeeper服务容器。因此，在启动Kafka之前，需要先启动其他相关容器。以下是一些常用的启动相关容器的命令：

1、启动Zookeeper容器：

docker run -dit --name myzookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 zookeeper

2、启动Kafka容器：

docker run -d --name mykafka -p 9092:9092 --env KAFKA_ADVERTISED_HOST_NAME=192.168.0.106 --env KAFKA_ZOOKEEPER_CONNECT=192.168.0.106:2181 wurstmeister/kafka

该命令中，“`-p“`选项指定了Kafka暴露的端口，“`–env“`选项指定了Kafka服务主机名和Zookeeper连接地址。

十、Docker启动tar包

在Docker启动Kafka服务时，有时需要使用Kafka的tar包进行启动。以下是具体步骤：

1、上传tar包至宿主机中，例如上传至“`/usr/src“`目录下。

2、进入该目录，解压tar包，解压后目录为“`kafka_2.12-2.7.0“`。

tar zxvf kafka_2.12-2.7.0.tgz

3、编写“`docker-compose.yaml“`文件，参考如下：

version: '2'
services:
  kafka:
    image: wurstmeister/kafka:2.12-2.4.0
    hostname: kafka
    container_name: kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LOG_DIRS: /kafka/logs
      KAFKA_HEAP_OPTS: "-Xmx512M -Xms512M"
    volumes:
      - /usr/src/kafka_2.12-2.7.0:/kafka

  zookeeper:
    image: zookeeper:3.4.9
    hostname: zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zookeeper:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888

4、运行“`docker-compose up“`命令启动服务。

总之，Docker启动Kafka服务，可以通过以上解决方案解决问题，并按需修改配置文件以达到最佳效果。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/239828.html