3 méthodes différentes permettant de prendre le contrôle d'un cluster kubernetes à partir d'un pod avec une installation de kops par défaut et comment les sécuriser. Il faudrait vérifier si ces failles existent également par défaut avec les autres outils de provisioning kubernetes (kubespray...).

Pour centraliser les logs des pods dans Cloudwatch Logs avec un cluster Kubernetes provisionné par KOPS:

$ kops edit cluster
# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: kops/v1alpha2
kind: Cluster
spec:
    ...
    additionalPolicies:
        node: |
            [
                {
                    "Effect": "Allow",
                    "Action": ["logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents"],
                    "Resource": ["*"]
                }
            ]
        master: |
            [
                {
                    "Effect": "Allow",
                    "Action": ["logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents"],
                    "Resource": ["*"]
                }
            ]
    docker:
        logDriver: awslogs
        logOpt:
        - awslogs-region=eu-west-1
        - awslogs-group=k8s
    ...
$ kops update cluster --yes # used only to update additional iam policies
$ kops rolling-update --yes --force # used to recreate every k8s cluster members (docker logdriver and logopt will be added to /etc/sysconfig/docker at the first boot)

Attention les noms des streams de logs dans cloudwatch correspondent aux id des containers, ce n'est pas très pratique...

EDIT: en utilisant cette méthode, les logs ne sont plus accessible via la commande kubectl logs. Du coup je ne recommande pas cette approche...

• Pour exporter la conf d'un cluster kubernetes provisonné avec kops:

  kops get cluster ${CLUSTER_NAME} -o yaml --full > cluster.yml 
  kops get ig nodes -o yaml > nodes.yml 
  kops get ig masters -o yaml > master.yml 

• Pour recréer un cluster à partir de cette conf:

  
  cat cluster.yml > cluster_spec.yml
  echo --- >> cluster_spec.yml
  cat nodes.yml >> cluster_spec.yml
  echo --- >> cluster_spec.yml
  cat master.yml >> cluster_spec.yml
  kops create -f cluster_spec.yml

route53-kubernetes permet d'automatiser la création d'enregistrement DNS quand on configure son Ingress.

C'est intégré sous forme d'addon à KOPS.

Attention: Après quelques tests, si route53-kubernetes gère bien la création des nouveaux enregistrements DNS, je n'ai pas l'impression qu'il gère la modification ou suppression des enregistrements créés précédemment. Il doit donc falloir faire du ménage manuellement de temps en temps.

A noter qu'il existe aussi ExternalDNS qui semble être la future méthode standard pour manipuler les DNS externes (Route53, Google Cloud DNS, ...) mais qui semble moins mature.

Pour installer un cluster Kubernetes privé avec KOPS sur une infra AWS déjà existante (DNS, VPC, Subnets, ...)

EDIT
en complement un tuto qui permet de faire quasimment la même chose mais en utilisant KOPS pour exporter une configuration Terraform pour ceux qui utilisent déjà Terraform pour le reste de leur infrastructure:
https://ryaneschinger.com/blog/kubernetes-aws-vpc-kops-terraform/

Kops permet de créer un cluster Kubernetes complet et haute-dispo sur AWS.

Parmi les nombreuses features intéressantes:

• instances EC2 basées sur Debian
• instances dans des ASG (master et nodes)
• possibilité de créer un VPC dédié ou d'en utiliser un existant
• possibilité d'exporter la config au format terraform pour provisionner le cluster avec terraform