Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte Instance-Typen und RegionenUnterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Kapazitätsblöcke für ML erlauben es Ihnen, GPU-basierte beschleunigte Computing-Instances für einen zukünftigen Zeitpunkt zu reservieren, um Ihre kurzfristigen Machine Learning (ML)-Workloads zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden innerhalb von Amazon automatisch nahe beieinander platziert EC2 UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Sie können Kapazitätsblöcke auch verwenden, um Kapazität für Amazon zu reservieren EC2 UltraServers. UltraServers verbinden Sie mehrere EC2 Amazon-Instances innerhalb einer Accelerator-Verbindung mit niedriger Latenz und hoher Bandbreite. Sie können UltraServers es verwenden, um die rechen- und speicherintensivsten AI/ML Workloads in den Bereichen Training, Feinabstimmung und Inferenz zu bewältigen. Weitere Informationen finden Sie auf Amazon EC2 UltraServers.

Mit Kapazitätsblöcken können Sie sehen, wann GPU-Instance-Kapazität an zukünftigen Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten passt. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU-Instance und zahlen nur für die Zeit, die Sie benötigen. Wir empfehlen Capacity Blocks GPUs , wenn Sie Ihre ML-Workloads tage- oder wochenlang unterstützen müssen und nicht für eine Reservierung bezahlen möchten, während Ihre GPU-Instances nicht genutzt werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Modell-Training und Feinabstimmung für Machine Learning (ML) – Erhalten Sie ununterbrochenen Zugriff auf die GPU-Instances, die Sie für die Durchführung des ML-Modell-Trainings und der Feinabstimmung reserviert haben.

  • ML-Experimente und Prototypen – Führen Sie Experimente durch und erstellen Sie Prototypen, die kurzfristig GPU-Instances erfordern.

Kapazitätsblöcke sind in einigen AWS Regionen für ausgewählte Instance-Typen verfügbar. Weitere Informationen finden Sie unterUnterstützte Instance-Typen und Regionen.

Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren. Jeder Kapazitätsblock kann bis zu 64 Instances haben, und Sie können bis zu 256 Instances in mehreren Kapazitätsblöcken haben.

Themen

Unterstützte Instance-Typen und Regionen

Instance- und UltraServer Capacity-Blöcke können mit den folgenden Instance-Typen und AWS Regionen verwendet werden.

Anmerkung

Kapazitätsblockgrößen von 64 Instances werden nicht für alle Instance-Typen in allen AWS-Regionen unterstützt.

Kapazitätsblöcke für Instanzen

  • p6-b300.48xlarge

    • USA West (Oregon) — us-west-2

  • p6-b200.48xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Oregon) — us-west-2

  • p5.4xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Oregon) — us-west-2

    • Europa (London) — eu-west-2

    • Asien-Pazifik (Mumbai) — ap-south-1

    • Asien-Pazifik (Tokio) — ap-northeast-1

    • Asien-Pazifik (Sydney) — ap-southeast-2

    • Südamerika (São Paulo) — sa-east-1

  • p5.48xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Nordkalifornien) — us-west-1

    • USA West (Oregon) — us-west-2

    • Europa (Stockholm) — eu-north-1

    • Europa (London) — eu-west-2

    • Südamerika (São Paulo) — sa-east-1

    • Asien-Pazifik (Tokio) — ap-northeast-1

    • Asien-Pazifik (Mumbai) — ap-south-1

    • Asien-Pazifik (Sydney) — ap-southeast-2

    • Asien-Pazifik (Jakarta) — ap-southeast-3

  • p5e.48xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Nordkalifornien) — us-west-1

    • USA West (Oregon) — us-west-2

    • Europa (Stockholm) — eu-north-1

    • Europa (London) — eu-west-2

    • Europa (Spanien) — eu-south-2

    • Südamerika (São Paulo) — sa-east-1

    • Asien-Pazifik (Tokio) — ap-northeast-1

    • Asien-Pazifik (Seoul) — ap-northeast-2

    • Asien-Pazifik (Mumbai) — ap-south-1

    • Asien-Pazifik (Jakarta) — ap-southeast-3

  • p4d.24xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Oregon) — us-west-2

  • p4de.24xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA West (Oregon) — us-west-2

  • trn1.32xlarge

    • USA Ost (Nord-Virginia) — us-east-1

    • USA Ost (Ohio) — us-east-2

    • USA West (Nordkalifornien) — us-west-1

    • USA West (Oregon) — us-west-2

    • Europa (Stockholm) — eu-north-1

    • Asien-Pazifik (Mumbai) — ap-south-1

    • Asien-Pazifik (Sydney) — ap-southeast-2

    • Asien-Pazifik (Melbourne) — ap-southeast-4

  • trn2.3xlarge

    • Asien-Pazifik (Melbourne) — ap-southeast-4

    • Südamerika (São Paulo) — sa-east-1

  • trn2.48xlarge

    • USA Ost (Ohio) — us-east-2

UltraServer Kapazitätsblöcke

  • Trn2

    • USA Ost (Ohio) — us-east-2

  • P6e-GB200

    • Lokale Zone von Dallas (Nord-Virginia) — us-east-1-dfw-2a

Unterstützte Plattformen

Capacity Blocks für ML unterstützen derzeit nur Instances und UltraServers zwar nur mit Standard-Tenancy. Wenn Sie den AWS-Managementkonsole zum Kauf eines Kapazitätsblocks verwenden, ist die Standardplattformoption Linux/UNIX. Wenn Sie das AWS Command Line Interface (AWS CLI) oder AWS SDK zum Kauf eines Capacity-Blocks verwenden, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL mit HA

  • SUSE Linux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Wenn wir eine Beeinträchtigung feststellen, die sich auf einen UltraServer Kapazitätsblock auswirkt, werden wir Sie benachrichtigen, aber im Allgemeinen werden wir keine Maßnahmen ergreifen, um Ihre Instances auf dem Kapazitätsblock zu beenden. Dies dient dazu, unbeabsichtigte Unterbrechungen Ihrer Workloads zu minimieren. Nach Erhalt dieser Benachrichtigung können Sie den UltraServer Kapazitätsblock unverändert weiter verwenden oder eine Behebung beantragen, indem Sie alle Instances auf dem Kapazitätsblock beenden und eine AWS Support-Anfrage einreichen. Nachdem wir Ihre Support-Anfrage erhalten haben, werden wir Sie benachrichtigen, sobald wir die Behebung abgeschlossen haben und Sie Instances auf Ihrem Capacity Block neu starten können. UltraServer

  • Bei P6e-GB200 UltraServer Kapazitätsblöcken müssen Sie Ihre Instances mindestens 60 Minuten vor dem Ende des Kapazitätsblocks beenden.

  • Um P6e-GB200 UltraServer Capacity Blocks verwenden zu können, müssen Sie für die lokale Zone von Dallas (Nord-Virginia) angemeldet sein.

  • Jeder Kapazitätsblock kann bis zu 64 Instances haben, und Sie können bis zu 256 Instances in mehreren Kapazitätsblöcken haben.

  • Sie können Kapazitätsblockangebote beschreiben, die bereits in 30 Minuten beginnen können.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierte Weltzeit (UTC).

  • Der Beendigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr koordinierter Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Ein Kapazitätsblock kann nicht verschoben oder aufgeteilt werden.

  • Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Nur UltraServer Kapazitätsblöcke können mit Ressourcengruppen verwendet werden. Instance-Kapazitätsblöcke können nicht mit Ressourcengruppen verwendet werden. Weitere Informationen finden Sie unter Erstellen Sie eine Ressourcengruppe für UltraServer Capacity Blocks.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 256 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie für P5-Instances, die ein benutzerdefiniertes AMI verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Informationen zu verwalteten Amazon EKS-Knotengruppen finden Sie unter Erstellen einer verwalteten Knotengruppe mit Amazon EC2 Capacity Blocks for ML. Informationen zu selbstverwalteten Amazon-EKS-Knotengruppen finden Sie unter Verwenden von Kapazitätsblöcken für ML mit selbstverwalteten Knoten.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu AWS ParallelCluster finden Sie unter Was ist AWS ParallelCluster.