Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Den Trainingsoperator installieren

In den folgenden Abschnitten erfahren Sie, wie Sie den Trainingsoperator installieren.

Voraussetzungen

Bevor Sie den HyperPod Training Operator einsetzen können, müssen Sie die folgenden Voraussetzungen erfüllt haben:

Den Trainingsoperator installieren

Sie können den HyperPod Training Operator jetzt über die SageMaker KI-Konsole, die Amazon EKS-Konsole oder mit den Konsolenmethoden installieren. AWS CLI Die Konsolenmethoden bieten vereinfachte Funktionen, die Ihnen bei der Installation des Operators helfen. Das AWS CLI bietet einen programmatischen Ansatz, mit dem Sie Ihre Installation weiter anpassen können.

Zwischen den beiden Konsolenanwendungen bietet SageMaker KI eine Installation mit einem Klick, erstellt die IAM-Ausführungsrolle, erstellt die Pod-Identitätszuordnung und installiert den Operator. Die Installation der Amazon EKS-Konsole ist ähnlich, aber diese Methode erstellt nicht automatisch die IAM-Ausführungsrolle. Während dieses Vorgangs haben Sie die Wahl, eine neue IAM-Ausführungsrolle mit Informationen zu erstellen, die die -Konsole vorab ausfüllt. Standardmäßig haben diese erstellten Rollen nur Zugriff auf den aktuellen Cluster, in dem Sie den Operator installieren. Wenn Sie den Operator entfernen und erneut installieren, müssen Sie eine neue Rolle erstellen, es sei denn, Sie bearbeiten die Berechtigungen der Rolle, um andere Cluster einzubeziehen.

SageMaker AI console (recommended)

1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

2. Gehen Sie zur Detailseite Ihres Clusters.

3. Suchen Sie auf der Registerkarte Dashboard das Add-on mit dem Namen Amazon SageMaker HyperPod Training Operator und wählen Sie Installieren. Während des Installationsvorgangs erstellt SageMaker KI eine IAM-Ausführungsrolle mit Berechtigungen, die der AmazonSageMakerHyperPodTrainingOperatorAccessverwalteten Richtlinie ähneln, und erstellt eine Pod-Identitätszuordnung zwischen Ihrem Amazon EKS-Cluster und Ihrer neuen Ausführungsrolle.

Amazon EKS console

Anmerkung

Wenn Sie das Add-on über den Amazon EKS-Cluster installieren, stellen Sie zunächst sicher, dass Sie Ihren HyperPod Cluster mit dem Schlüssel-Wert-Paar gekennzeichnet haben. SageMaker:true Andernfalls schlägt die Installation fehl.

1. Öffnen Sie die Amazon EKS-Konsole unter https://console.aws.amazon.com/eks/home#/clusters.

2. Gehen Sie zu Ihrem EKS-Cluster, wählen Sie Add-Ons und dann Get more Add-Ons.

3. Wählen Sie Amazon SageMaker HyperPod Training Operator und dann Weiter.

4. Unter Version verwendet die Konsole standardmäßig die neueste Version. Wir empfehlen Ihnen, diese zu verwenden.

5. Wählen Sie unter Add-On-Zugriff eine IAM-Rolle mit Pod-Identität aus, die mit dem Training Operator-Add-on verwendet werden soll. Wenn Sie noch keine Rolle haben, wählen Sie Empfohlene Rolle erstellen aus, um eine zu erstellen.

6. Während der Rollenerstellung füllt die IAM-Konsole alle erforderlichen Informationen vorab aus, z. B. den Anwendungsfall, die AmazonSageMakerHyperPodTrainingOperatorAccessverwaltete Richtlinie und andere erforderliche Berechtigungen, den Rollennamen und die Beschreibung. Überprüfen Sie die Informationen, während Sie die Schritte ausführen, und wählen Sie „Rolle erstellen“.

7. Überprüfen Sie in der EKS-Konsole die Einstellungen Ihres Add-ons und wählen Sie dann Erstellen aus.

CLI

1. Stellen Sie sicher, dass die IAM-Ausführungsrolle für Ihren HyperPod Cluster über eine Vertrauensbeziehung verfügt, die es EKS Pod Identity ermöglicht, die Rolle zu übernehmen, oder erstellen Sie eine neue IAM-Rolle mit der folgenden Vertrauensrichtlinie. Alternativ können Sie die Amazon EKS-Konsole verwenden, um das Add-on zu installieren, wodurch eine empfohlene Rolle erstellt wird.

   JSON

   JSON

   {
     "Version":"2012-10-17",		 	 	 		 	 	 
     "Statement": [
       {
         "Sid": "AllowEksAuthToAssumeRoleForPodIdentity",
         "Effect": "Allow",
         "Principal": {
           "Service": "pods.eks.amazonaws.com"
         },
         "Action": [
           "sts:AssumeRole",
           "sts:TagSession",
           "eks-auth:AssumeRoleForPodIdentity"
         ]
       }
     ]
   }
   

2. Hängen Sie die AmazonSageMakerHyperPodTrainingOperatorAccess verwaltete Richtlinie an Ihre erstellte Rolle an.

3. Erstellen Sie dann eine Pod-Identitätszuordnung zwischen Ihrem EKS-Cluster, Ihrer IAM-Rolle und Ihrer neuen IAM-Rolle.

   aws eks create-pod-identity-association \
   --cluster-name my-eks-cluster \
   --role-arn ARN of your execution role \
   --namespace aws-hyperpod \
   --service-account hp-training-operator-controller-manager \
   --region AWS-Region

4. Nachdem Sie den Vorgang abgeschlossen haben, können Sie den ListPodIdentityAssociations Vorgang verwenden, um die von Ihnen erstellte Zuordnung zu sehen. Im Folgenden finden Sie ein Beispiel dafür, wie eine Antwort aussehen könnte.

   aws eks list-pod-identity-associations --cluster-name my-eks-cluster
   {
       "associations": [{
           "clusterName": "my-eks-cluster",
           "namespace": "aws-hyperpod",
           "serviceAccount": "hp-training-operator-controller-manager",
           "associationArn": "arn:aws:eks:us-east-2:123456789012:podidentityassociation/my-hyperpod-cluster/a-1a2b3c4d5e6f7g8h9",
           "associationId": "a-1a2b3c4d5e6f7g8h9"
       }]
   }

5. Verwenden Sie den Vorgang, um den Training Operator zu installieren. create-addon Der Parameter --addon-version ist optional. Wenn Sie keine angeben, ist die Standardversion die neueste Version. Verwenden Sie den DescribeAddonVersionsVorgang, um die möglichen Versionen abzurufen.

   aws eks create-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --resolve-conflicts OVERWRITE

Wenn Sie den Training Operator bereits auf Ihrem HyperPod Cluster installiert haben, können Sie das EKS-Add-on auf die gewünschte Version aktualisieren. Wenn Sie Checkpointless-Training oder elastisches Training verwenden möchten, sollten Sie Folgendes beachten:

Amazon EKS Console

1. Öffnen Sie die Amazon EKS-Konsole unter https://console.aws.amazon.com/eks/home#/clusters.

2. Gehen Sie zu Ihrem EKS-Cluster und wählen Sie Add-ons. Wählen Sie dann das Amazon SageMaker HyperPod Training Operator-Add-on und klicken Sie auf Bearbeiten.

3. Wählen Sie im Menü Version die gewünschte Version des Add-ons aus und klicken Sie dann auf Änderungen speichern.

CLI

1. Rufen Sie zunächst die Liste der unterstützten Versionen des Add-ons für Ihren Cluster ab.

   aws eks describe-addon-versions \
     --kubernetes-version $(aws eks describe-cluster --name my-eks-cluster --query 'cluster.version' --output text) \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --query 'addons[0].addonVersions[].addonVersion' \
     --output table

2. Aktualisieren Sie dann das Add-on auf die gewünschte Version.

   aws eks update-addon \
     --cluster-name my-eks-cluster \
     --addon-name amazon-sagemaker-hyperpod-training-operator \
     --addon-version target-version
     --resolve-conflicts OVERWRITE

Der Trainingsoperator bietet eine Reihe von Optionen mit Standardwerten, die möglicherweise zu Ihrem Anwendungsfall passen. Wir empfehlen Ihnen, den Trainingsoperator mit Standardwerten auszuprobieren, bevor Sie sie ändern. In der folgenden Tabelle werden alle Parameter und Beispiele dafür beschrieben, wann Sie die einzelnen Parameter konfigurieren sollten.

HyperPod elastisches Mittel

Das HyperPod elastische Mittel ist eine Erweiterung PyTorchvon ElasticAgent. Er organisiert die Lebenszyklen der geschulten Mitarbeiter an jedem Container und kommuniziert mit dem Schulungsleiter. HyperPod Um den HyperPod Trainingsoperator verwenden zu können, müssen Sie zuerst den HyperPod Elastic Agent in Ihrem Trainings-Image installieren, bevor Sie Jobs mit dem Operator einreichen und ausführen können. Im Folgenden finden Sie eine Docker-Datei, mit der Elastic Agent installiert und der hyperpodrun Job Launcher erstellt wird.

RUN pip install hyperpod-elastic-agent

ENTRYPOINT ["entrypoint.sh"]
# entrypoint.sh
...
hyperpodrun --nnodes=node_count --nproc-per-node=proc_count \
            --rdzv-backend hyperpod \ # Optional
            --inprocess-restart \ # Optional (in-process fault recovery with checkpointless training)
            ... # Other torchrun args
            # pre-traing arg_group
            --pre-train-script pre.sh --pre-train-args "pre_1 pre_2 pre_3" \
            # post-train arg_group
            --post-train-script post.sh --post-train-args "post_1 post_2 post_3" \
            training.py --script-args

Sie können jetzt Jobs mit kubectl einreichen.

HyperPod Argumente für Elastic Agents

Der HyperPod elastische Agent unterstützt alle ursprünglichen Argumente und fügt einige zusätzliche Argumente hinzu. Im Folgenden sind alle Argumente aufgeführt, die im HyperPod Elastikmittel verfügbar sind. Weitere Informationen zum Elastic Agent finden Sie in der offiziellen Dokumentation PyTorch des Unternehmens.

Verwaltung von Aufgaben (optional)

Der Schulungsoperator ist in HyperPod Task Governance integriert, ein robustes Managementsystem, das entwickelt wurde, um die Ressourcenzuweisung zu optimieren und eine effiziente Nutzung der Rechenressourcen für Ihre Amazon EKS-Cluster zwischen Teams und Projekten sicherzustellen. Informationen zum Einrichten der HyperPod Task-Governance finden Sie unterEinrichtung für die SageMaker HyperPod Task-Governance.

Achten Sie beim Einreichen eines Jobs darauf, dass Sie Ihren Warteschlangennamen und die Prioritätsklassenbeschriftungen und angeben. hyperpod-ns-team-name-localqueue priority-class-name-priority Beispiel anhand von Kueue erhalten Sie folgende Labels:

Im Folgenden finden Sie ein Beispiel dafür, wie Ihre Konfigurationsdatei aussehen könnte:

apiVersion: sagemaker.amazonaws.com/v1
kind: HyperPodPytorchJob
metadata:
  name: hp-task-governance-sample
  namespace: hyperpod-ns-team-name
  labels:
    kueue.x-k8s.io/queue-name: hyperpod-ns-team-name-localqueue
    kueue.x-k8s.io/priority-class: priority-class-priority
spec:
  nprocPerNode: "1"
  runPolicy:
    cleanPodPolicy: "None"
  replicaSpecs: 
    - name: pods
      replicas: 4
      spares: 2
      template:
        spec:
          containers:
            - name: ptjob
              image: XXXX
              imagePullPolicy: Always
              ports:
                - containerPort: 8080
              resources:
                requests:
                  cpu: "2"

Verwenden Sie dann den folgenden kubectl-Befehl, um die YAML-Datei anzuwenden.

kubectl apply -f task-governance-job.yaml

Warteschlange (optional)

Sie können Jobs zwar direkt ausführen, aber Ihr Unternehmen kann den Schulungsleiter auch in Kueue integrieren, um Ressourcen zuzuweisen und Jobs zu planen. Gehen Sie wie folgt vor, um Kueue in Ihrem Cluster zu installieren. HyperPod