Dans ce tutoriel, nous allons vous montrer comment installer Apache Kafka sur Debian 10. Pour ceux d’entre vous qui ne le savaient pas, Apache Kafka est une plate-forme de diffusion d’événements distribuée open source utilisée par des milliers d’entreprises pour les pipelines de données hautes performances, l’analyse de diffusion en continu, l’intégration de données et les applications critiques.
Cet article suppose que vous avez au moins des connaissances de base sur Linux, que vous savez utiliser le shell et, plus important encore, que vous hébergez votre site sur votre propre VPS. L’installation est assez simple et suppose que vous utilisez le compte root, sinon vous devrez peut-être ajouter ‘sudo‘ aux commandes pour obtenir les privilèges root. Je vais vous montrer l’installation étape par étape du Apache Kafka sur une Debian 10 (Buster).
Installer Apache Kafka sur Debian 10 Buster
Étape 1. Avant d’exécuter le didacticiel ci-dessous, il est important de vous assurer que votre système est à jour en exécutant ce qui suit apt commandes dans le terminal :
sudo apt update
Étape 2. Installation de Java.
Installez maintenant Java à l’aide de la commande ci-dessous :
sudo apt install default-jdk
Vérifiez la version Java en exécutant la commande suivante :
java -version
Étape 3. Installation Apache Kafka sur Debian 10.
Maintenant, nous exécutons la commande suivante pour télécharger Apache Forfaits Kafka du site officiel :
wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
Ensuite, extrayez le fichier d’archive téléchargé :
tar xzf kafka_2.12-2.8.0.tgz mv kafka_2.12-2.8.0 /usr/local/kafka
Étape 4. Créez les fichiers unitaires Systemd.
Maintenant, nous créons systemd fichiers unitaires pour le service Zookeeper et Kafka. Cela aidera à gérer les services Kafka pour démarrer ou arrêter d’utiliser le systemctl commander:
nano /etc/systemd/system/zookeeper.service
Ajoutez le fichier suivant :
[Unit] Description=Apache Zookeeper server Documentation=https://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Ensuite, pour créer un Kafka systemd fichier unit à l’aide de la commande suivante :
nano /etc/systemd/system/kafka.service
Ajoutez le contenu ci-dessous :
[Unit] Description=Apache Kafka Server Documentation=https://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64" ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Save les fichiers et recharger le systemd démon pour appliquer les nouvelles modifications :
sudo systemctl daemon-reload sudo systemctl start zookeeper sudo systemctl start kafka
Étape 5. Créez un sujet dans Kafka.
Tout d’abord, créez un sujet nommé “MakeTopic” avec une seule partition avec une seule réplique :
cd /usr/local/kafka bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic
Après cela, vous pouvez voir les sujets créés sur Kafka en exécutant la commande ci-dessous :
$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181 MakeTopic
Étape 6. Envoyez des messages à Kafka.
Maintenant, exécutons le producteur, puis tapons quelques messages dans la console à envoyer au serveur :
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic >Welcome to kafka >This is my first topic >
Étape 7. Utilisation de Kafka Consumer.
Apache Kafka dispose également d’un consommateur en ligne de commande pour lire les données du cluster Kafka et afficher les messages sur la sortie standard.
$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning Welcome to kafka This is my first topic
Toutes nos félicitations! Vous avez installé avec succès Apache Kafka. Merci d’avoir utilisé ce tutoriel pour installer la dernière version du Apache Kafka sur le système Debian. Pour une aide supplémentaire ou des informations utiles, nous vous recommandons de vérifier l’officiel Apache Site web de Kafka.
