Docker安装Kafka详解

一、Docker安装Kafka 3.0

Docker作为一个快速构建、测试和部署应用程序的平台，能够轻松实现Kafka的安装与配置。总体来说，您需要下载并安装Docker，然后集成Kafka镜像。这里是一个示例：

docker pull bitnami/kafka:latest

在下载Kafka之后，您可以通过以下命令启动Kafka容器：

docker run --name kafka -e ALLOW_PLAINTEXT_LISTENER=yes -p 9092:9092 -d bitnami/kafka:latest

其中，ALLOW_PLAINTEXT_LISTENER将在Kafak中启用明文访问，9092为默认的Kafka端口。运行Kafka容器之后，您可以使用以下命令进入容器：

docker exec -it kafka bash

二、Docker安装Kafka这些大数据组件

在Docker上安装Kafka，您需要下载以下组件：

zookepeer
Schema-registry
Kafka-connect

以下是一个启动包含这些组件的Docker容器的示例：

docker run --name zookeeper -p 2181:2181 -d zookeeper
docker run --name schema-registry --link zookeeper:zookeeper -p 8081:8081 -d confluentinc/cp-schema-registry:latest
docker run --name connect --link zookeeper:zookeeper --link kafka:kafka -p 8083:8083 -d confluentinc/cp-kafka-connect:latest

三、Docker安装Kafka修改配置

在Docker容器中启动Kafka时，您也可以修改默认配置。例如，以下示例显示了如何使用Docker-compose文件更改Kafka的最大消息大小：

version: '2'
services:
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://localhost:9092"
      KAFKA_MESSAGE_MAX_BYTES: "2000000"

四、Docker安装Kafka集群数据不同步

在使用Docker安装Kafka集群时，数据同步是一个重要的问题。为了确保所有Kafka节点都有相同的数据，您需要在创建Kafka容器时使用相同的卷。例如，以下代码将创建两个Kafka容器来创建一个Kafka集群：

docker run -d --name kafka1 -p 9092:9092 --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181  -v /kafka/logs:/opt/kafka/logs -v /kafka/data:/opt/kafka/data confluentinc/cp-kafka

docker run -d --name kafka2 -p 9093:9093 --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181  -v /kafka/logs:/opt/kafka/logs -v /kafka/data:/opt/kafka/data confluentinc/cp-kafka

请注意，这里使用了Docker的卷功能。/kafka/data和/kafka/logs是可以在容器内使用的目录。

五、Docker安装Kafka集群

如上述示例所示，您可以通过将多个Kafka容器链接在一起来创建Kafka集群。这里是一个创建三节点Kafka集群的示例：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"

  kafka1:
    image: wurstmeister/kafka
    restart: unless-stopped
    ports:
      - "9092:9094"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_BROKER_ID: "1"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2

  kafka2:
    image: wurstmeister/kafka
    restart: unless-stopped
    ports:
      - "9093:9095"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_BROKER_ID: "2"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2

  kafka3:
    image: wurstmeister/kafka
    restart: unless-stopped
    ports:
      - "9094:9096"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka3
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_BROKER_ID: "3"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2

六、Docker安装Kafka如何修改配置文件

修改Kafka配置文件的最简单方法是通过Docker-compose文件。例如，以下代码显示了如何更改Kafka的日志级别：

version: '2'
services:
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_LISTENERS: "PLAINTEXT://localhost:9092"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ~/docker/kafka/data:/data
      - $(pwd)/kafka-log4j.properties:/kafka/config/log4j.properties
      - $(pwd)/server.properties:/kafka/config/server.properties

请注意，此处将kafka-log4j.properties和server.properties添加到容器中的 ~ / docker / kafka / data 目录。

七、Docker安装Kafka无法连接

如果您在安装Kafka时遇到了连接问题，请检查您的防火墙配置。在Docker容器中，使用以下代码开放9092端口：

sudo ufw allow 9092

八、Docker安装Kafka会遇到的坑

请确保在启动Kafka容器之前已经启动内部依赖关系（例如zookepeer）。
确保使用IP而不是localhost或127.0.0.1充当Kafka的主机名
在容器启动期间等待一段时间。容器可能需要一些时间来启动并准备就绪。
确保Docker和Kafka已经正确卸载。
一旦卸载，就可以使用以下代码进行清理：docker system prune -a。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/189978.html