SageMaker Modellparallelitätsbibliothek v2

Die Amazon SageMaker AI Model Parallelism Library ist eine Funktion von SageMaker KI, die ein leistungsstarkes und optimiertes Training in großem Maßstab auf SageMaker KI-beschleunigten Compute-Instances ermöglicht. Zu den Kernfunktionen der SageMaker Modellparallelitätsbibliothek v2 gehören Techniken und Optimierungen zur Beschleunigung und Vereinfachung des Trainings großer Modelle, wie z. B. die Parallelität hybrider fragmentierter Daten, Tensorparallelität, Aktivierungs-Checkpointing und Aktivierungsauslagerung. Sie können die SMP-Bibliothek verwenden, um das Training und die Optimierung von großen Sprachmodellen (LLMs), Large Vision Models (LVMs) und Basismodellen (FMs) mit Hunderten von Milliarden von Parametern zu beschleunigen.

Die SageMaker Modellparallelismus-Bibliothek v2 (SMP v2) passt die APIs und Methoden der Bibliothek an den Open-Source-Standard PyTorch Fully Sharded Data Parallelism (FSDP) an, wodurch Sie die Vorteile von SMP-Leistungsoptimierungen mit minimalen Codeänderungen nutzen können. Mit SMP v2 können Sie die Rechenleistung beim Training eines großen KI-Modells auf dem neuesten Stand der Technik verbessern, indem Sie Ihre FSDP-Trainingsskripte auf KI übertragen. SageMaker PyTorch SageMaker

Sie können SMP v2 für allgemeine SageMaker Trainingsaufgaben und verteilte Trainingsworkloads auf Clustern verwenden. Amazon SageMaker HyperPod