Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker Modellparallelitätsbibliothek v2
Anmerkung
Seit der Veröffentlichung der SageMaker-Modellparallelitätsbibliothek (SMP) v2.0.0 am 19. Dezember 2023 wurde diese Dokumentation für die SMP-Bibliothek v2 erneuert. Informationen zu früheren Versionen der SMP-Bibliothek finden Sie unter (Archiviert) SageMaker-Modellparallelitätsbibliothek v1.x.
Die Modellparallelitätsbibliothek von Amazon SageMaker AI ist eine Funktion von SageMaker AI, die leistungsstarke, optimierte Trainings in großem Maßstab auf beschleunigten Computing-Instances von SageMaker AI ermöglicht. Zu den Kernfunktionen der SageMaker Modellparallelitätsbibliothek v2 gehören Techniken und Optimierungen zur Beschleunigung und Vereinfachung des Trainings großer Modelle, wie z. B. die Parallelität hybrider fragmentierter Daten, Tensorparallelität, Aktivierungs-Checkpointing und Aktivierungsauslagerung. Sie können die SMP-Bibliothek verwenden, um das Training und die Optimierung von großen Sprachmodellen (LLMs), Large Vision Models (LVMs) und Basismodellen (FMs) mit Hunderten von Milliarden von Parametern zu beschleunigen.
Die SageMaker-Modellparallelitätsbibliothek v2 (SMP v2) passt die APIs und Methoden der Bibliothek an die Open Source PyTorch Fully Sharded Data Parallelism (FSDP) an, wodurch Sie die Vorteile von SMP-Leistungsoptimierungen mit minimalen Codeänderungen nutzen können. Mit SMP v2 können Sie die Rechenleistung beim Training eines hochmodernen großen Modells auf SageMaker AI verbessern, indem Sie Ihre PyTorch-FSDP-Trainingsskripte in SageMaker AI integrieren.
Sie können SMP v2 für allgemeine SageMaker-Trainingsjobs und verteilte Trainings-Workloads auf Amazon SageMaker HyperPod-Clustern verwenden.
Themen
