Nozioni di base su AWS Batch su Amazon EKS

AWS Batch su Amazon EKS è un servizio gestito per la pianificazione e la scalabilità dei carichi di lavoro in batch in cluster Amazon EKS esistenti. AWS Batch non crea, amministra o esegue operazioni sul ciclo di vita dei tuoi cluster Amazon EKS per tuo conto. AWS Batch l'orchestrazione aumenta e riduce i nodi gestiti ed esegue i pod su tali nodi. AWS Batch

AWS Batch non tocca i nodi, i gruppi di nodi con scalabilità automatica o i cicli di vita dei pod che non sono associati agli ambienti di elaborazione all'interno del cluster Amazon EKS. AWS Batch AWS Batch Per funzionare in modo efficace, il suo ruolo collegato ai servizi necessita di autorizzazioni di controllo degli accessi (KubernetesRBAC) basate sui ruoli nel cluster Amazon EKS esistente. Per ulteriori informazioni, consulta Using RBAC Authorization nella documentazione. Kubernetes

AWS Batch richiede un Kubernetes namespace in cui possa definire i pod come job. AWS Batch Consigliamo un namespace dedicato per isolare i AWS Batch pod dagli altri carichi di lavoro del cluster.

Dopo AWS Batch aver ottenuto l'accesso RBAC e stabilito uno spazio dei nomi, puoi associare quel cluster Amazon EKS a un ambiente di calcolo utilizzando l'operazione API. AWS Batch CreateComputeEnvironment Una coda di lavoro può essere associata a questo nuovo ambiente di calcolo Amazon EKS. AWS Batch i lavori vengono inviati alla coda dei lavori in base a una definizione di lavoro di Amazon EKS utilizzando l'operazione API. SubmitJob AWS Batch quindi avvia i nodi AWS Batch gestiti e colloca i lavori dalla coda di lavoro come Kubernetes pod nel cluster EKS associato a un ambiente di calcolo. AWS Batch

Le seguenti sezioni spiegano come effettuare la configurazione su Amazon EKS. AWS Batch

Panoramica di

Questo tutorial dimostra come effettuare la configurazione AWS Batch con Amazon EKS utilizzando i tasti AWS CLI, kubectl eeksctl.

Prerequisiti

Prima di iniziare questo tutorial, devi installare e configurare i seguenti strumenti e risorse necessari per creare e gestire sia AWS Batch le risorse Amazon EKS che quelle di Amazon EKS.

Passaggio 1: crea il tuo cluster Amazon EKS per AWS Batch

Una volta installati i prerequisiti, è necessario creare il cluster utilizzando. eksctl La creazione del cluster può richiedere tra 10-15 minuti.

$  eksctl create cluster --name my-cluster-name --region region-code

Nel comando precedente sostituisci:

Il nome e la regione del cluster sono necessari più avanti in questo tutorial.

Fase 2: Prepara il tuo cluster Amazon EKS per AWS Batch

Tutti i passaggi sono obbligatori.

Passaggio 3: creare un ambiente di calcolo Amazon EKS

AWS Batch gli ambienti di calcolo definiscono i parametri delle risorse di calcolo per soddisfare le esigenze di carico di lavoro in batch. In un ambiente di elaborazione gestito, ti AWS Batch aiuta a gestire la capacità e i tipi di istanza delle risorse di calcolo (Kubernetesnodi) all'interno del tuo cluster Amazon EKS. Ciò si basa sulle specifiche delle risorse di calcolo definite al momento della creazione dell'ambiente di elaborazione. È possibile utilizzare le istanze EC2 o On-Demand le istanze Spot EC2.

Ora che il ruolo AWSServiceRoleForBatch collegato al servizio ha accesso al tuo cluster Amazon EKS, puoi creare risorse. AWS Batch Innanzitutto, crea un ambiente di calcolo che punti al tuo cluster Amazon EKS.

$ cat <<EOF > ./batch-eks-compute-environment.json
{
  "computeEnvironmentName": "My-Eks-CE1",
  "type": "MANAGED",
  "state": "ENABLED",
  "eksConfiguration": {
    "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name",
    "kubernetesNamespace": "my-aws-batch-namespace"
  },
  "computeResources": {
    "type": "EC2",
    "allocationStrategy": "BEST_FIT_PROGRESSIVE",
    "minvCpus": 0,
    "maxvCpus": 128,
    "instanceTypes": [
        "m5"
    ],
    "subnets": [
        "<eks-cluster-subnets-with-access-to-internet-for-image-pull>"
    ],
    "securityGroupIds": [
        "<eks-cluster-sg>"
    ],
    "instanceRole": "<eks-instance-profile>"
  }
}
EOF

$ aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json

Fase 4: Creare una coda di lavoro e collegare l'ambiente di elaborazione

$ aws batch describe-compute-environments --compute-environments My-Eks-CE1

I lavori inviati a questa nuova coda di lavoro vengono eseguiti come pod su nodi AWS Batch gestiti che si uniscono al cluster Amazon EKS associato al tuo ambiente di calcolo.

$ cat <<EOF > ./batch-eks-job-queue.json
 {
    "jobQueueName": "My-Eks-JQ1",
    "priority": 10,
    "computeEnvironmentOrder": [
      {
        "order": 1,
        "computeEnvironment": "My-Eks-CE1"
      }
    ]
  }
EOF

$ aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json

Fase 5: Creare una definizione di lavoro

La seguente definizione di job indica al pod di dormire per 60 secondi.

$ cat <<EOF > ./batch-eks-job-definition.json
{
  "jobDefinitionName": "MyJobOnEks_Sleep",
  "type": "container",
  "eksProperties": {
    "podProperties": {
      "hostNetwork": true,
      "containers": [
        {
          "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
          "command": [
            "sleep",
            "60"
          ],
          "resources": {
            "limits": {
              "cpu": "1",
              "memory": "1024Mi"
            }
          }
        }
      ],
      "metadata": {
        "labels": {
          "environment": "test"
        }
      }
    }
  }
}
EOF

$ aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json

Fase 6: Inviare un lavoro

Esegui il seguente AWS CLI comando per inviare un nuovo lavoro.

$ aws batch submit-job --job-queue My-Eks-JQ1 \
    --job-definition MyJobOnEks_Sleep --job-name My-Eks-Job1

Per verificare lo stato di un Job:

$ aws batch describe-jobs --job <jobId-from-submit-response>

Fase 7: Visualizzare l'output del lavoro

Per visualizzare l'output del Job, procedi come segue:

Fase 8: (Facoltativo) Invia un lavoro con sostituzioni

Questo lavoro sovrascrive il comando passato al contenitore. AWS Batch pulisce in modo aggressivo i contenitori dopo il completamento dei lavori per ridurre il carico a. Kubernetes Per esaminare i dettagli di un lavoro, è necessario configurare la registrazione. Per ulteriori informazioni, consulta Usa CloudWatch Logs per monitorare i lavori AWS Batch su Amazon EKS.

$ cat <<EOF > ./submit-job-override.json
{
  "jobName": "EksWithOverrides",
  "jobQueue": "My-Eks-JQ1",
  "jobDefinition": "MyJobOnEks_Sleep",
  "eksPropertiesOverride": {
    "podProperties": {
      "containers": [
        {
          "command": [
            "/bin/sh"
          ],
          "args": [
            "-c",
            "echo hello world"
          ]
        }
      ]
    }
  }
}
EOF

$ aws batch submit-job --cli-input-json file://./submit-job-override.json

Per visualizzare l'output del Job, effettuate le seguenti operazioni:

Passaggio 9: Pulisci le risorse del tutorial

Ti viene addebitato il costo dell'istanza Amazon EC2 mentre è abilitata. Puoi eliminare l'istanza per non incorrere in addebiti.

Per eliminare le risorse che hai creato, procedi come segue:

Risorse aggiuntive

Dopo aver completato il tutorial, potresti voler esplorare i seguenti argomenti: