This article provides a summary of the object storage services of the three biggest cloud providers: AWS, Azure and GCP.

La doc de l'API S3 avec pour chaque endpoint les permissions IAM nécessaires.

C'est super utile quand on essaie de debugger un provisionning de bucket avec terraform qui plante parce qu'il manque des droits:

TF_LOG=debug terraform apply --target aws_s3_bucket.mon_bucket

puis on cherche l'appel qui plante et on va voir dans la doc les permissions à ajouter à sa policy IAM.

Procédure pour sauvegarder Kafka et Zookeeper sur S3 en utilisant kafka-connect-s3 et burry.sh

Des scripts pour réaliser une sauvegarde consistente (FS + DB) de Nextcloud sur AWS S3 où Backblaze B2.

Un outils de restore point-in-time pour les buckets S3 bucket qui ont le versioning activé

Pour automatiser la sauvegarde de volumes Docker sur S3 avec Duplicity:

docker run -v /var/run/docker.sock:/var/run/docker.sock:ro  --rm -ti \
   -e CONPLICITY_FULL_IF_OLDER_THAN="90D" \
   -e CONPLICITY_REMOVE_OLDER_THAN="365D" \
   -e CONPLICITY_TARGET_URL=s3://s3-eu-west-1.amazonaws.com/<s3-bucket>/<directory> \
   -e AWS_ACCESS_KEY_ID=XXXXXXXXXX \
   -e AWS_SECRET_ACCESS_KEY=XXXXXXXXXX \
     camptocamp/conplicity

Pour gérer un repos apt debian sur S3
A voir également: https://github.com/BashtonLtd/apt-transport-s3

Pour sauvegarder sur S3 avec Deja Dup sur Ubuntu:

1. create your bucket on S3 without 'dot' in the name (https://github.com/boto/boto/issues/2836)
2. create your iam user and attach it the following iam policy:

   {"Version": "2012-10-17","Statement": [
   {"Effect": "Allow","Action": ["s3:ListAllMyBuckets","s3:GetBucketLocation","s3:ListBucket"],
    "Resource": ["arn:aws:s3:::<MY-BUCKET-NAME>"]},
   {"Effect": "Allow","Action": ["s3:DeleteObject","s3:GetObject","s3:PutObject"],
   "Resource": ["arn:aws:s3:::<MY-BUCKET-NAME>"]},
   ]}

3. sudo apt install python-boto python-cloudfiles dconf-tools
4. open deja-dup and select Storage -> S3 then enter your AWS Access Key
5. edit the bucket name used by deja-dup with dconf: dconf write /org/gnome/deja-dup/s3/bucket "'<MY-BUCKET-NAME>'"
6. restart deja-dup then launch backup (your AWS Secure Key will be asked

Une image docker qui permet de sauvegarder des containers dans s3.

exemple:

$ docker run --rm --env-file env.txt --volumes-from mysql --name dockup borja/dockup
$ cat env.txt
AWS_ACCESS_KEY_ID=<key_here>
AWS_SECRET_ACCESS_KEY=<secret_here>
AWS_DEFAULT_REGION=us-east-1
BACKUP_NAME=mysql
PATHS_TO_BACKUP=/etc/mysql /var/lib/mysql
S3_BUCKET_NAME=docker-backups.example.com

Un tuto pour utiliser AWS Lambda pour redimensionner automatiquement les images uploadées dans un bucket S3

Plugin Jenkins pour uploader les artifacts dans S3

cf: https://wiki.jenkins-ci.org/display/JENKINS/S3+Plugin