View a markdown version of this page

Zuweisung von Rechenquoten in der Amazon SageMaker HyperPod Task Governance - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Zuweisung von Rechenquoten in der Amazon SageMaker HyperPod Task Governance

Clusteradministratoren können entscheiden, wie die Organisation gekaufte Rechenleistung verwendet. Dadurch werden Verschwendung und ungenutzte Ressourcen reduziert. Sie können Rechenquoten so zuweisen, dass sich Teams ungenutzte Ressourcen gegenseitig ausleihen können. Mithilfe der Zuweisung von Rechenquoten in der HyperPod Aufgabenverwaltung können Administratoren Ressourcen auf Instanzebene und auf einer detaillierteren Ressourcenebene zuweisen. Diese Funktion ermöglicht ein flexibles und effizientes Ressourcenmanagement für Teams, indem sie eine detaillierte Kontrolle über einzelne Rechenressourcen ermöglicht, anstatt ganze Instance-Zuweisungen erforderlich zu machen. Durch die Zuweisung auf granularer Ebene werden Ineffizienzen der herkömmlichen Zuweisung auf Instance-Ebene vermieden. Durch diesen Ansatz können Sie die Ressourcennutzung optimieren und ungenutzte Rechenleistung reduzieren.

Die Compute-Kontingentzuweisung unterstützt drei Arten der Ressourcenzuweisung: Beschleuniger, vCPU und Arbeitsspeicher. Beschleuniger sind Komponenten in beschleunigten ComputerInstances, die Funktionen wie Berechnungen von Gleitkommazahlen, Grafikverarbeitung oder Mustererkennung in Daten ausführen. Zu den Beschleunigern gehören GPUs, Trainium-Beschleuniger und Neuron-Kerne. Bei der gemeinsamen Nutzung von GPUs durch mehrere Teams können verschiedene Teams spezifische GPU-Zuweisungen vom gleichen Instance-Typ erhalten, wodurch die Auslastung der Beschleuniger-Hardware maximiert wird. Für speicherintensive Workloads, die zusätzlichen RAM für Datenvorverarbeitungs- oder Modell-Caching-Szenarien benötigen, können Sie Speicherkontingente zuweisen, die über das Standardverhältnis hinausgehen. GPU-to-memory Für CPU-heavy Vorverarbeitungsaufgaben, die neben dem GPU-Training umfangreiche CPU-Ressourcen benötigen, können Sie eine unabhängige CPU-Ressourcenzuweisung zuweisen.

Sobald Sie einen Wert angegeben haben, berechnet HyperPod Task Governance das Verhältnis anhand der Formel „Zugewiesene Ressourcen geteilt durch die Gesamtmenge der in der Instance verfügbaren Ressourcen“. HyperPod Task-Governance verwendet dann dieses Verhältnis, um Standardzuweisungen auf andere Ressourcen anzuwenden. Sie können diese Standardwerte jedoch überschreiben und sie an Ihren Anwendungsfall anpassen. Im Folgenden finden Sie Beispielszenarien dafür, wie die HyperPod Aufgabenverwaltung Ressourcen auf der Grundlage Ihrer Werte zuweist:

  • Nur Accelerator angegeben — HyperPod Task Governance wendet das Standardverhältnis auf vCPU und Arbeitsspeicher auf der Grundlage der Beschleunigungswerte an.

  • Nur vCPU angegeben — HyperPod Task Governance berechnet das Verhältnis und wendet es auf den Arbeitsspeicher an. Beschleuniger sind auf 0 gesetzt.

  • Nur spezifizierter Arbeitsspeicher — HyperPod Task Governance berechnet das Verhältnis und wendet es auf die vCPU an, da Rechenleistung für die Ausführung speicherspezifischer Arbeitslasten erforderlich ist. Beschleuniger sind auf 0 gesetzt.

Um die Kontingentzuweisung programmgesteuert zu steuern, können Sie das ComputeQuotaResourceConfig Objekt verwenden und Ihre Zuweisungen in ganzen Zahlen angeben.

{
    "ComputeQuotaConfig": {
        "ComputeQuotaResources": [{
            "InstanceType": "ml.g5.24xlarge",
            "Accelerators": "16",
            "vCpu": "200.0",
            "MemoryInGiB": "2.0"
        }]
    }
}

Verwenden Sie die Operation, um alle zugewiesenen Zuweisungen einschließlich der Standardwerte anzuzeigen. DescribeComputeQuota Verwenden Sie die Operation, um Ihre Zuweisungen zu aktualisieren. UpdateComputeQuota

Sie können die HyperPod CLI auch verwenden, um Rechenkontingente zuzuweisen. Weitere Informationen zur HyperPod CLI finden Sie unterAusführung von Jobs auf SageMaker HyperPod Clustern, die von Amazon EKS orchestriert werden. Das folgende Beispiel zeigt, wie Rechenkontingente mithilfe der HyperPod CLI festgelegt werden.

hyp create hyp-pytorch-job --version 1.1 --job-name sample-job \
--image 123456789012.dkr.ecr.us-west-2.amazonaws.com/ptjob:latest \
--pull-policy "Always" \
--tasks-per-node 1 \
--max-retry 1 \
--priority high-priority \
--namespace hyperpod-ns-team-name \
--queue-name hyperpod-ns-team-name-localqueue \
--instance-type sample-instance-type \
--accelerators 1 \
--vcpu 3 \
--memory 1 \
--accelerators-limit 1 \
--vcpu-limit 4 \
--memory-limit 2

Gehen Sie wie folgt vor, um Kontingente mithilfe der AWS Konsole zuzuweisen.

  1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

  2. Wählen Sie unter HyperPod Cluster die Option Cluster-Management aus.

  3. Wählen Sie unter Rechenzuweisung die Option Erstellen aus.

  4. Wenn Sie noch keine Instances haben, wählen Sie Zuweisung hinzufügen aus, um eine Instance hinzuzufügen.

  5. Wählen Sie unter Zuweisungen aus, ob die Zuweisung nach Instances oder einzelnen Ressourcen erfolgen soll. Wenn Sie die Zuweisung nach einzelnen Ressourcen vornehmen, weist SageMaker AI anderen Ressourcen automatisch Allokationen in dem von Ihnen gewählten Verhältnis zu. Um diese verhältnisbasierte Zuordnung zu überschreiben, verwenden Sie den entsprechenden Schalter, um diese Berechnung zu überschreiben.

  6. Wiederholen Sie die Schritte 4 und 5, um weitere Instances zu konfigurieren.

Nach der Zuweisung des Rechenkontingents können Sie dann Jobs über die CLI oder einreichen. HyperPod kubectl HyperPodplant Workloads effizient auf der Grundlage des verfügbaren Kontingents.