L'article explique comment streamer des logs de Cloudwatch logs dans un cluster Amazon ElasticSearch
LinkedIn utilise un outils maison pour analyser les exceptions dans les logs applicatifs. Chaque nouvelle exception est enregistrée dans une base avec son hash. Le nombre d'occurrence de chaque exception par période de temps est ensuite enregistré dans une autre table. Cette solution nécessite seulement 30Gb pour stocker l'ensemble des exceptions alors qu'une solution ELK nécessiterait 50Pb pour centraliser l'ensemble des logs de leurs applications.
Un tuto pour parser et centraliser les logs avec logstash. La possibilité d'envoyer des alertes via PagerDuty ou mail directement depuis logstash est intéressante aussi
Un outils en perl pour analyser les fichiers de logs PostgreSQL