Un super tuto pour déployer et utiliser Elasticsearch, Kibana et Metricbeat sur Kubernetes à l'aide des Helm charts Elastic officiels.
Attention, contrairement a ce qui était mentionné à l'origine dans cet article, les Helm charts Elastic be sont pas encore officiellement supporté avec Helm v3. L'utilisation de Helm v2 est donc recommandée.
Dans mon équipe (infra @ elastic), on utilise Logstash pour indexer les évènements de notre organisation GitHub dans Elasticsearch et générer des alertes et dashboards.
Ce post décrit rapidement notre process.
En bonus, il est possible d'utiliser le nouveau chart officiel Logstash développé par mes soins pour déployer Logstash sur K8S (attention ce chart est toujours en bêta).
Comment troubleshooter un cluster elasticsearch en utilisant l'api _cat.
Ce post a été écrit il y a 5 ans mais la méthode et les commandes sont toujours d'actualité.
Un plugin Helm qui permet de déclencher un rollback automatique suite à l'upgrade d'une release Helm en fonction d'une query Elasticsearch ou Prometheus
Utilisation de Kafka comme buffer pour envoyer des logs dans ElasticSearch avec le connecteur Kafka Connect ElasticSearch. Il est alors possible de remplacer Logstash dans la stack ELK par Filebeat et Kafka et de profiter de la nature distribuée de Kafka pour l'ingestion de logs dans ES.
L'article explique comment streamer des logs de Cloudwatch logs dans un cluster Amazon ElasticSearch
Une description plus détaillé de la métrique Memory Pressure.
Le Memory Pressure est une des principales métriques pour vérifier le sizing de son cluster ES sur Elastic Cloud.
- Tant que la Memory Pressure est en dessous de 75%, le cluster est bien dimensionnée au niveau mémoire.
- Entre 75% et 85%, le cluster va consommer de plus en plus de CPU pour faire des GC. Tant que les perfs et la conso CPU sont acceptables, pas de soucis, le cas échéant il faut upgrader le cluster.
- Au dessus de 85%, Le temps passé à faire des GC et le risque d'OOM sera trop important. Il faut absolument upgrader le cluster.
Pour aller plus loin: Understanding the Memory Pressure Indicator
Description des métriques de performance pour Elastic Cloud (la solution SAAS Elastic Search officielle)
Suite de l'article précédent qui explique l'architecture distribuée d'Elasticsearch
Une bonne explication du fonctionnement des index au sein d'Elasticsearch
Les métriques ElasticSearch à monitorer
quelques commandes utiles avec ElasticSearch