Instalar Apache Kafka en Ubuntu 20.04

Instalar Apache Kafka en Ubuntu 20.04, sus derivados y versiones superiores.

Apache Kafka, es una aplicación multiplataforma de código abierto cuya función principal, es el procesamiento de datos en grandes cantidades. Desarrollada para su propio uso por la red social Linkedin, posteriormente fue donada a Apache Software Foundation que es la que actualmente mantiene su progreso y mejoras.

Especializada en procesamiento de flujos, permite publicar, almacenar, procesar y suscribirse en tiempo real. Su punto fuerte es el manejo de flujos de datos provenientes de varias fuentes y distribuirlos entre varios usuarios. En realidad, es una excelente alternativa a un sistema de mensajería tradicional a nivel empresarial.

Un tanto desconocida hace unos años, gracias a que grandes empresas como Netflix o Microsoft la utilizan en sus arquitecturas, ahora mismo, cada día es más popular. Escrita en Java y Scala, en este artículo vemos como instalar Apache Kafka en Ubuntu 20.04, sus derivados y versiones superiores.

Instalar Apache Kafka

Instalar Apache Kafka

 

Instalar Apache Kafka en Ubuntu 20.04

Como es habitual, antes de comenzar actualizamos nuestro sistema.

sudo apt update

sudo apt full-upgrade

Instalamos java.

sudo apt install default-jdk default-jre

Verificamos la versión instalada.

java -version

Imagen de ejemplo.

Instalar kafka en Ubuntu y verificar la version de java

Instalar kafka en Ubuntu y verificar la versión de java instalada

 

Ahora creamos un usuario (en nuestro caso kafka), lo agregamos al grupo sudo e iniciamos sesión con él.

sudo adduser kafka

sudo adduser kafka sudo

su -l kafka

Ejemplo…

root@SoloLinux:~# sudo adduser kafka
Adding user `kafka' ...
Adding new group `kafka' (1000) ...
Adding new user `kafka' (1000) with group `kafka' ...
Creating home directory `/home/kafka' ...
Copying files from `/etc/skel' ...
New password: 
Retype new password: 
Changing the user information for kafka
Enter the new value, or press ENTER for the default
 Full Name []: 
 Room Number []: 
 Work Phone []: 
 Home Phone []: 
 Other []: 
Is the information correct? [Y/n] 
root@SoloLinux:~# 
root@SoloLinux:~# sudo adduser kafka sudo
Adding user `kafka' to group `sudo' ...
Adding user kafka to group sudo
Done.

 

Descargamos Apache Kafka.

mkdir kafka

cd kafka

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.13-2.8.0.tgz

Descomprímeme el archivo descargado.

tar -xvzf kafka_2.13-2.8.0.tgz

Ya tenemos la herramienta instalada en el sistema, pero antes de usarla deberías modificar algunas configuraciones que vienen por defecto.

Instalar kafka en Ubuntu 20.04 y derivados

Instalar kafka en Ubuntu 20.04 y derivados

 

Configurar Apache Kafka en Ubuntu 20.04

De forma predeterminada, Apache Kafka no permite eliminar temas (una categoría, grupo o fuente a publicar en un mensaje). Esto no es una buena idea, por tanto conviene modificarlo.

nano config/server.properties

Busca la línea delete.topic y la habilitas.

delete.topic.enable = true

Los logs debes estar en el directorio de inicio, si modificaste la ruta de inicio tambien debes cambiar la siguiente línea.

log.dirs=/home/kafka/logs

Guarda el archivo y cierra el editor nano.

 

También es importante crear un servicio en el sistema, para gestionar Kafka. Será más fácil administrar las configuraciones y su estado.

sudo nano /etc/systemd/system/zookeeper.service

Copia y pega lo siguiente.

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Guarda los cambios y cierra el editor.

Instalar Apache Kafka en Ubuntu 20.04

 

Hacemos lo mismo con el servicio kafka.

sudo nano /etc/systemd/system/kafka.service

Copia y pega lo siguiente.

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Guarda y cierra el editor.

 

Para finalizar el artículo «instalar Apache Kafka en Ubuntu 20.04», solo falta recargar los demonios e iniciar los servicios Kafka y Zookeeper.

sudo systemctl daemon-reload

sudo systemctl start kafka

sudo systemctl enable kafka

sudo systemctl enable zookeeper

sudo systemctl start zookeeper
Instalar kafka en Ubuntu

Instalar kafka en Ubuntu

 

Apache Kafka es una solución profesional de código abierto, para grandes empresas que necesitan una transmisión de datos eficaz con grandes flujos de datos. No te engañes porque sea Open Source, es muy poderoso y manejable.

 

Canales de Telegram: Canal SoloLinux – Canal SoloWordpress

Espero que este artículo te sea de utilidad, puedes ayudarnos a mantener el servidor con una donación (paypal), o también colaborar con el simple gesto de compartir nuestros artículos en tu sitio web, blog, foro o redes sociales. Instalar Apache Kafka en Ubuntu 20.04.

Chat de SoloLinux en Telegram

 

Agregar comentario

1 logo sololinux

Suscríbete a SoloLinux

Recibe todos los nuevos artículos es tu correo electrónico

You have Successfully Subscribed!

Ir al contenido