Einen SageMaker HyperPod-Cluster herunterskalieren

Sie können die Anzahl der Instances, die auf Ihrem Amazon SageMaker HyperPod-Cluster ausgeführt werden, reduzieren. Möglicherweise möchten Sie einen Cluster aus verschiedenen Gründen herunterskalieren, z. B. aufgrund einer geringeren Ressourcennutzung oder einer Kostenoptimierung.

Auf der folgenden Seite werden zwei Hauptansätze zur Verkleinerung beschrieben:

Wichtige Überlegungen

Herunterskalieren auf Instance-Gruppenebene

Mit UpdateClusterdiesem Vorgang können Sie Änderungen an der Konfiguration Ihres SageMaker HyperPod-Clusters vornehmen, z. B. die Anzahl der Instances einer Instance-Gruppe reduzieren oder ganze Instance-Gruppen entfernen. Dies kann nützlich sein, wenn Sie die Ihrem Cluster zugewiesenen Ressourcen an Änderungen Ihrer Arbeitslast anpassen, die Kosten optimieren oder den Instance-Typ einer Instance-Gruppe ändern möchten.

Verkleinern Sie eine Instance-Gruppe

Verwenden Sie diesen Ansatz, wenn Sie eine Instance-Gruppe haben, die inaktiv ist und es sicher ist, eine der Instances zu beenden, um sie herunterzuskalieren. Wenn Sie eine UpdateCluster Anfrage zur Herunterskalierung einreichen, wählt HyperPod nach dem Zufallsprinzip Instances für die Kündigung aus und skaliert auf die angegebene Anzahl von Knoten für die Instance-Gruppe herunter.

Nachfolgend finden Sie ein Beispiel für ein UpdateCluster-JSON-Objekt: Stellen Sie sich den Fall vor, dass Ihre Instance-Gruppe derzeit aus 2 laufenden Instances besteht. Wenn Sie das Feld instanceCount auf 1 setzen, wie im Beispiel gezeigt, wählt HyperPod zufällig eine der Instances aus und beendet sie.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training-instances",
      "InstanceType": "instance-type",
      "InstanceCount": 1,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    }
  ],
  "NodeRecovery": "Automatic"
}

Instance-Gruppen löschen

Sie können den UpdateClusterVorgang verwenden, um ganze Instance-Gruppen aus Ihrem SageMaker HyperPod-Cluster zu entfernen, wenn sie nicht mehr benötigt werden. Dies geht über eine einfache Verkleinerung hinaus und ermöglicht es Ihnen, bestimmte Instance-Gruppen vollständig aus der Konfiguration Ihres Clusters zu entfernen.

Nachfolgend finden Sie ein Beispiel für ein UpdateCluster-JSON-Objekt: Stellen Sie sich den Fall vor, dass ein Cluster derzeit aus drei Instance-Gruppen besteht: einer Trainingsgruppe, einer Prototyp-Schulung und einer Gruppe, die Inferenz bedient. Sie möchten die Prototyp-Trainingsgruppe löschen.

{
  "ClusterName": "name-of-cluster-to-update",
  "InstanceGroups": [
    {
      "InstanceGroupName": "training",
      "InstanceType": "instance-type",
      "InstanceCount": ,
      "LifeCycleConfig": {
        "SourceS3Uri": "s3://amzn-s3-demo-bucket/training-script.py",
        "OnCreate": "s3://amzn-s3-demo-bucket/setup-script.sh"
      },
      "ExecutionRole": "arn:aws:iam::123456789012:role/SageMakerRole",
      "ThreadsPerCore": number-of-threads,
      "OnStartDeepHealthChecks": [
        "InstanceStress",
        "InstanceConnectivity"
      ]
    },
    {
      "InstanceGroupName": "inference-serving",
      "InstanceType": "instance-type",
      "InstanceCount": 2,
      [...]
    },
  ],
  "InstanceGroupsToDelete": [ "prototype-training" ],
  "NodeRecovery": "Automatic"
}

Herunterskalieren auf Instance-Ebene

Mit diesem BatchDeleteClusterNodes Vorgang können Sie einen SageMaker HyperPod-Cluster herunterskalieren, indem Sie die einzelnen Knoten angeben, die Sie beenden möchten. BatchDeleteClusterNodesbietet eine detailliertere Steuerung für die gezielte Entfernung von Knoten und die Cluster-Optimierung. Sie können es beispielsweise verwenden, BatchDeleteClusterNodes um bestimmte Knoten für Wartungsarbeiten, fortlaufende Upgrades oder die geografische Verteilung von Ressourcen zu löschen.

API-Anforderung und -Antwort

Wenn Sie eine BatchDeleteClusterNodes Anfrage einreichen, löscht SageMaker HyperPod Knoten anhand ihrer Instance-IDs. Die API akzeptiert eine Anfrage mit dem Clusternamen und einer Liste der zu löschenden Knoten-IDs.

Die Antwort hat zwei Abschnitte:

Validierung und Fehlerbehandlung

Die API führt verschiedene Validierungen durch, wie zum Beispiel:

API-Antwortcodes

Beispiel

Im Folgenden finden Sie ein Beispiel für das Herunterskalieren eines Clusters auf Instance-Ebene unter Verwendung der AWS CLI:

aws sagemaker batch-delete-cluster-nodes --cluster-name "cluster-name" --node-ids '["i-111112222233333", "i-111112222233333"]'