Verwenden des Amazon EBS CSI-Treibers auf SageMaker HyperPod EKS-Clustern - Amazon SageMaker KI
Schlüssel-FeaturesAnwendungsfälleEinrichtungUnter Verwendung der APIs

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des Amazon EBS CSI-Treibers auf SageMaker HyperPod EKS-Clustern

SageMaker HyperPod unterstützt den Amazon Elastic Block Store (Amazon EBS) Container Storage Interface (CSI) -Treiber, der den Lebenszyklus von Amazon EBS-Volumes als Speicher für die von Ihnen erstellten Kubernetes-Volumes verwaltet. Mit dem Amazon EBS CSI-Treiber können Sie Ihre Amazon EBS-Volumes für Ihre Machine-Learning-Workloads, die auf SageMaker HyperPod Clustern mit Amazon EKS-Orchestrierung ausgeführt werden, erstellen, anhängen und verwalten.

Wichtige Speicherfunktionen

Der Amazon EBS CSI-Treiber on SageMaker HyperPod unterstützt die folgenden Speicherfunktionen.

  • Statische Bereitstellung: Ordnet vorab erstellte Amazon EBS-Volumes persistenten Kubernetes-Volumes zur Verwendung in Ihren Pods zu.

  • Dynamische Bereitstellung: Erstellt automatisch Amazon EBS-Volumes und zugehörige persistente Volumes aus. PersistentVolumeClaims Parameter können übergeben werden, StorageClassum die Volume-Erstellung detailliert zu steuern.

  • Volumenänderung: Erweitert bestehende Volumes durch Aktualisierung der PersistentVolumeClaimsGrößenspezifikation, ohne laufende Workloads zu unterbrechen. Dies kann für den Umgang mit wachsenden Modell-Repositorys oder die Anpassung an größere Knoten ohne Betriebsunterbrechung unerlässlich sein.

  • Volume-Snapshots: Erstellt point-in-time Snapshots von Volumes für Backup, Wiederherstellung und Datenversionierung.

  • Block-Volumes: Ermöglicht unformatierten Blockgerätezugriff für Hochleistungsanwendungen, die direkten Speicherzugriff benötigen.

  • Volumenänderung: Ändert Volume-Eigenschaften wie Typ, Eingabe- oder Ausgabeoperationen pro Sekunde (IOPS) oder Durchsatz mithilfe von Volume-Attributklassen.

Weitere Informationen zum Amazon EBS CSI-Treiber finden Sie unter Use Kubernetes Volume Storage with Amazon EBS im Amazon EKS-Benutzerhandbuch.

Weitere Informationen zur Speicherung auf Pods in Ihrem Cluster finden Sie in der Kubernetes-Dokumentation unter Speicher.

Anwendungsfälle

Die Amazon EBS CSI-Treiberintegration ermöglicht mehrere wichtige Anwendungsfälle sowohl für Schulungs- als auch für Inferenz-Workloads auf SageMaker HyperPod EKS-Clustern.

Workloads für Schulungen

  • Speicherung von Datensätzen: Stellen Sie Volumes für Trainingsdatensätze bereit, die auch nach einem Pod-Neustart bestehen bleiben

  • Checkpoint-Speicher: Speichern Sie Modell-Checkpoints und Zwischentrainingsergebnisse

  • Gemeinsam genutzte Artefakte: Greifen Sie über mehrere Trainingsjobs hinweg auf gemeinsame Datensätze und Modellartefakte zu

Inferenz-Workloads

  • Modellspeicher: Dynamische Bereitstellung angemessen dimensionierter Volumes auf der Grundlage der Modellanforderungen

  • Container-Caching: Erstellen Sie kurzlebigen Speicher für eine verbesserte Inferenzleistung

  • Ereignisprotokollierung: Speichern Sie Inferenzergebnisse und Protokolle im persistenten Speicher

Einrichtung des Amazon EBS CSI-Treibers auf SageMaker HyperPod EKS-Clustern

Der Container Storage Interface (CSI) -Treiber für Amazon Elastic Block Store (Amazon EBS) ermöglicht Ihnen die dynamische Bereitstellung und Verwaltung von Amazon EBS-Volumes für Ihre containerisierten Workloads, die auf SageMaker HyperPod Clustern mit EKS-Orchestrierung ausgeführt werden. Dieser Abschnitt führt Sie durch die Installation und Konfiguration des Amazon EBS-CSI-Treibers zum Aktivieren des persistenten Speichers für Ihre Workloads im Machine Learning.

Voraussetzungen

Bevor Sie beginnen, führen Sie die folgenden Schritte aus:

Zusätzliche Berechtigungen

Um das Amazon EBS CSI-Treiber-Add-on einzurichten, folgen Sie den Anweisungen unter Use Kubernetes Volume Storage with Amazon EBS im Amazon EKS-Benutzerhandbuch. Sie sollten der IAM-Rolle, die zur Ausführung des Treiber-Add-ons verwendet wird, auch die folgenden zusätzlichen Berechtigungen hinzufügen. Beachten Sie, dass dies die IAM-Rolle ist, die in Ihrer Dienstkontokonfiguration für das Treiber-Add-on angegeben ist, nicht die HyperPod Cluster-Ausführungsrolle.

JSON
{
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:AttachClusterNodeVolume",
                "sagemaker:DetachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        }
    ]
}

Unter Verwendung der APIs

Als Alternative können Sie die Operationen AttachClusterNodeVolumeund DetachClusterNodeVolumeAPI verwenden, um Ihre Amazon EBS-Volumes an SageMaker HyperPod EKS-Cluster-Instances anzuhängen und zu trennen.

Zu den wichtigsten Anforderungen für deren Verwendung APIs gehören die folgenden.

  • Sowohl das Amazon EBS-Volume als auch der SageMaker HyperPod EKS-Cluster müssen demselben AWS-Konto gehören.

  • Der aufrufende Principal benötigt bestimmte Mindestberechtigungen, um den Vorgang zum anfügen oder Trennen erfolgreich ausführen zu können. Weitere Informationen zu den Mindestberechtigungen finden Sie in den folgenden Abschnitten.

  • Nachdem Sie Ihrem HyperPod Knoten ein Volume hinzugefügt haben, folgen Sie den Anweisungen unter Zugreifen auf SageMaker HyperPod Cluster-Knoten, um auf den Cluster-Knoten zuzugreifen, und Bereitstellen eines Volumes, das zum Mounten des angehängten Volumes verwendet werden kann.

Erforderliche Berechtigungen für sagemaker:AttachClusterNodeVolume

JSON
{
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:AttachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "ec2:AttachVolume",
                "ec2:DescribeVolumes"
            ],
            "Resource": "arn:aws:ec2:us-east-1:111122223333:volume/*"
        }
    ]
}

Erforderliche Berechtigungen für sagemaker:DetachClusterNodeVolume

JSON
{
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Statement":
    [
        {
            "Effect": "Allow",
            "Action":
            [
                "sagemaker:DetachClusterNodeVolume"
            ],
            "Resource": "arn:aws:sagemaker:us-east-1:111122223333:cluster/*"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "eks:DescribeCluster"
            ],
            "Resource": "arn:aws:eks:us-east-1:111122223333:cluster/my-cluster-name"
        },
        {
            "Effect": "Allow",
            "Action":
            [
                "ec2:DetachVolume",
                "ec2:DescribeVolumes"
            ],
            "Resource": "arn:aws:ec2:us-east-1:111122223333:volume/*"
        }
    ]
}

Erforderliche Berechtigungen für Schlüssel AWS KMS

Fügen Sie die folgenden AWS KMS Berechtigungen nur hinzu, wenn Sie vom Kunden verwaltete KMS-Schlüssel verwenden, um Ihre Amazon EBS-Volumes zu verschlüsseln, die an HyperPod Clusterknoten angeschlossen sind. Diese Berechtigungen sind nicht erforderlich, wenn Sie AWS -verwaltete KMS-Schlüssel (die Standardverschlüsselungsoption) verwenden.

JSON
{
    "Version":"2012-10-17",		 	 	 		 	 	 
    "Id": "key-default-1",
    "Statement":
    [
        {
            "Effect": "Allow",
            "Principal":
            {
                "AWS": "arn:aws:iam::111122223333:role/caller-role"
            },
            "Action": "kms:DescribeKey",
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Principal":
            {
                "AWS": "arn:aws:iam::111122223333:role/caller-role"
            },
            "Action": "kms:CreateGrant",
            "Resource": "*",
            "Condition":
            {
                "StringEquals":
                {
                    "kms:CallerAccount": "111122223333",
                    "kms:ViaService": "ec2.us-east-1.amazonaws.com"
                },
                "ForAnyValue:StringEquals":
                {
                    "kms:EncryptionContextKeys": "aws:ebs:id"
                },
                "Bool":
                {
                    "kms:GrantIsForAWSResource": true
                },
                "ForAllValues:StringEquals":
                {
                    "kms:GrantOperations":
                    [
                        "Decrypt"
                    ]
                }
            }
        }
    ]
}
Anmerkung

Diese AWS KMS Berechtigungen sind nicht erforderlich, sagemaker:DetachClusterNodeVolume wenn ein CAVA-Volume (Cluster Auto Volume Attachment) -Volume getrennt wird, das mit vom Kunden verwalteten KMS-Schlüsseln verschlüsselt wurde.