Procédure pour sauvegarder Kafka et Zookeeper sur S3 en utilisant kafka-connect-s3 et burry.sh

Solution de sauvegarde basée sur un serveur borg local et un script rclone pour synchroniser le serveur local avec le service de stockage cloud Wasabi.

A noter qu'il est possible de remplacer Wasabi par Backblaze B2 qui est légèrement plus cher et moins performant que Wasabi mais qui est plus mature et sans stockage minimum (1To de data mini chez Wasabi).

GitHub-backup est un outils développé en Haskell qui permet de sauvegarder les metadata d'un repos GitHub (issues, comments, watchers, ...)

Des scripts pour réaliser une sauvegarde consistente (FS + DB) de Nextcloud sur AWS S3 où Backblaze B2.

Un outils de restore point-in-time pour les buckets S3 bucket qui ont le versioning activé

Rclone permet de synchroniser un répertoire en utilisant un service cloud (S3, Backblaze, Google Drive, Dropbox, SFTP, ...) comme backend.

Rclone supporte également le chiffrement des fichiers.

Backblaze B2 propose un storage object cloud 4 à 5 fois moins cher ($0.005/Go/mois) que Amazon S3 et ses équivalent chez Google et Azure.
Tout ceci en ayant une philosophie intéressante (ils conçoivent notamment leur propre design de rack et leur software de gestion d'erreur et mettent une partie de leur travail en open source)

Il est possible d'utiliser Duplicity pour sauvegarder sur le storage de Backblaze.

Attention: Sur Debian Jessie, la version de Duplicity (0.6.24) n'est pas compatible Backblaze, il est nécessaire d'utiliser la version présente dans les backports (sudo apt install -t jessie-backports duplicity)

Pour automatiser la sauvegarde de volumes Docker sur S3 avec Duplicity:

docker run -v /var/run/docker.sock:/var/run/docker.sock:ro  --rm -ti \
   -e CONPLICITY_FULL_IF_OLDER_THAN="90D" \
   -e CONPLICITY_REMOVE_OLDER_THAN="365D" \
   -e CONPLICITY_TARGET_URL=s3://s3-eu-west-1.amazonaws.com/<s3-bucket>/<directory> \
   -e AWS_ACCESS_KEY_ID=XXXXXXXXXX \
   -e AWS_SECRET_ACCESS_KEY=XXXXXXXXXX \
     camptocamp/conplicity

Pour sauvegarder sur S3 avec Deja Dup sur Ubuntu:

1. create your bucket on S3 without 'dot' in the name (https://github.com/boto/boto/issues/2836)
2. create your iam user and attach it the following iam policy:

   {"Version": "2012-10-17","Statement": [
   {"Effect": "Allow","Action": ["s3:ListAllMyBuckets","s3:GetBucketLocation","s3:ListBucket"],
    "Resource": ["arn:aws:s3:::<MY-BUCKET-NAME>"]},
   {"Effect": "Allow","Action": ["s3:DeleteObject","s3:GetObject","s3:PutObject"],
   "Resource": ["arn:aws:s3:::<MY-BUCKET-NAME>"]},
   ]}

3. sudo apt install python-boto python-cloudfiles dconf-tools
4. open deja-dup and select Storage -> S3 then enter your AWS Access Key
5. edit the bucket name used by deja-dup with dconf: dconf write /org/gnome/deja-dup/s3/bucket "'<MY-BUCKET-NAME>'"
6. restart deja-dup then launch backup (your AWS Secure Key will be asked

Un script en python pour automatiser le snapshot des volumes EBS possédant un tag spécifique

Une image docker qui permet de sauvegarder des containers dans s3.

exemple:

$ docker run --rm --env-file env.txt --volumes-from mysql --name dockup borja/dockup
$ cat env.txt
AWS_ACCESS_KEY_ID=<key_here>
AWS_SECRET_ACCESS_KEY=<secret_here>
AWS_DEFAULT_REGION=us-east-1
BACKUP_NAME=mysql
PATHS_TO_BACKUP=/etc/mysql /var/lib/mysql
S3_BUCKET_NAME=docker-backups.example.com

Pour sauvegarder un data volume d'un container:

docker run --volumes-from dbdata -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata

Un utilitaire en python pour sauvegarder le contenu de sa boite mail en IMAP