Iniciando Kafka con docker

En nuestro canal de Youtube iniciamos la serie «Guiado por eventos» en la cual tiene como objetivo explicar los diferentes enfoques de event-driven, iniciamos con un primer vídeo en el que hablamos de las diferencias entre Request/Response vs EventDriven y seguiremos combinando elementos teóricos con prácticos.

La solución que usaremos en la serie como Event Bus será Kafka & Zookeeper.

¿Qué es Kafka?

 Apache Kafka proporciona un bus de mensajes escalable, distribuido y altamente resiliente creado por LinkedIn y de código abierto basado en una arquitectura P2P (arquitectura Peer to Peer). El corazón de kafka es el commit log distribuido (hablaremos más de esto en el canal).

Destaca por:

  • Está escrito en scala (y algo de Java).
  • Plataforma para la nueva generación de aplicaciones distribuidas.
  • Destaca en otros ámbitos como la comunicación de aplicaciones.
  • Pertenece al ámbito «Distributed Messaging Queue».
  • Alternativa a JMS, AMQP y RabbitMQ cuando se maneja volúmenes importantes de datos/información y se requiere un gran capacidad de respuesta.
  • Permite analizar y procesar datos en tiempo real.
  • Dispone de un API de «Producer»: Facilita que una aplicación publique una secuencia de mensajes en uno o más tópicos de diferentes formas.
  • Dispone de un API de «Consumer»: Facilita que una aplicación pueda suscribirse a uno o más tópicos y así poder procesar la secuencia de mensajes.
  • Dispone de un API de «Streams»: Facilita procesar un flujo consumiendo un flujo de entrada de uno o más tópicos y produciendo un flujo para uno o más tópicos de salida.
  • Dispone de un API de «Connector»: Facilita implementar/ejecutar productores o consumidores reusables con el objetivo de conectar tópiicos con aplicaciones externas, por ejemplo: MySQL, ElasticSearch, etc.

¿Cómo instalar Kafka con Docker?

La instalación de Kafka con docker la realizaremos usando docker-compose. ¿Cómo gestionas tus imágenes docker locales? Te recomiendo esta entrada en la que hablamos de Portainer, una excelente herramienta: Portainer, gestionando docker de forma sencilla.

Para la instalación luego de que tengas instalado docker-compose, crea una carpeta y dentro crea un fichero docker-compose.yml, en el fichero coloca el siguiente contenido.

version: '2'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - 22181:2181
  
  kafka:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - 29092:29092
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

Ahora entra desde la terminal a la carpeta:

$cd /mi-carpeta
$docker-compose up -d

Si tiras el comando docker ps deberia verse así:

docker ps |grep kafka
3b46d7f2d0ef   confluentinc/cp-kafka:latest       "/etc/confluent/dock…"   2 weeks ago   Up 9 seconds        9092/tcp, 0.0.0.0:29092->29092/tcp, :::29092->29092/tcp                                kafka_kafka_1
e3818f131189   confluentinc/cp-zookeeper:latest   "/etc/confluent/dock…"   2 weeks ago   Up About a minute   2888/tcp, 3888/tcp, 0.0.0.0:22181->2181/tcp, :::22181->2181/tcp      

He agregado un grep adicional para filtrar 🙂

Ahora comprueba que Kafka y Zookeeper son accesibles desde el localhost, para ello usaremos netcat y haremos un nc a los puertos 29092 y 22181 que son los que hemos exportado en nuestro docker-compose.

$nc -zv localhost 29092
Connection to localhost (::1) 29092 port [tcp/*] succeeded!

$ nc -zv localhost 22181
Connection to localhost (::1) 22181 port [tcp/*] succeeded!

Listo, hemos terminado, ya tienes Kafka listo para desarrollar.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

SACAViX Tech Blog