Procédure pour sauvegarder Kafka et Zookeeper sur S3 en utilisant kafka-connect-s3 et burry.sh

Une console de management de clusters Kafka développée par Yahoo

Utilisation de Kafka comme buffer pour envoyer des logs dans ElasticSearch avec le connecteur Kafka Connect ElasticSearch. Il est alors possible de remplacer Logstash dans la stack ELK par Filebeat et Kafka et de profiter de la nature distribuée de Kafka pour l'ingestion de logs dans ES.

Le New York Times utilise Kafka comme pièce central de leur architecture avec le concept de "monolog". La source de vérité n'est plus dans les différentes bases de données mais dans le log Kafka qui persiste et centralise tout les évènements depuis la création du journal de façon ordonnée dans un unique topic Kafka (100Go de volumétrie). De cette façon les différentes bases de données peuvent être considérés comme immutables et être recréé from scratch en rejouant tout les évènements du log Kafka depuis l'origine (par exemple les migrations de schémas de bases de données sont faites en recréant de nouvelles databases from scratch à partir du log Kafka plutôt que de migrer les bases existantes).