Kompatibilität mit der für die Infrastruktur optimierten SMDDP-Bibliothek AWS - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kompatibilität mit der für die Infrastruktur optimierten SMDDP-Bibliothek AWS

Sie können die SageMaker Modellparallelismusbibliothek v2 (SMP v2) in Verbindung mit der Bibliothek für SageMaker verteilte Datenparallelität (SMDDP) verwenden, die den für die Infrastruktur optimierten Betrieb der kollektiven Kommunikation ermöglicht. AllGather AWS Beim verteilten Training sind kollektive Kommunikationsoperationen darauf ausgelegt, mehrere GPU-Worker zu synchronisieren und Informationen zwischen ihnen auszutauschen. AllGather ist eine der wichtigsten kollektiven Kommunikationsoperationen, die typischerweise bei der Parallelität fragmentierter Data verwendet werden. Weitere Informationen zum AllGather SMDDP-Betrieb finden Sie unter Die Kollektive SMDDP-AllGather-Operation Optimierung solcher kollektiver Kommunikationsoperationen würde direkt zu einem schnelleren Training beitragen, ohne dass Nebenwirkungen auf die Konvergenz auftreten. end-to-end

Anmerkung

Die SMDDP-Bibliothek unterstützt P4- und P4de-Instances (siehe auch Unterstützte Frameworks, AWS-Regionen und Instance-Typen von der SMDDP-Bibliothek).

Die SMDDP-Bibliothek lässt sich PyTorch über die Prozessgruppenebene nativ integrieren. Um die SMDDP-Bibliothek zu verwenden, müssen Sie Ihrem Trainingsskript nur zwei Codezeilen hinzufügen. Sie unterstützt alle Schulungs-Frameworks wie SageMaker Model Parallelism Library, FSDP und. PyTorch DeepSpeed

Um SMDDP zu aktivieren und die AllGather-Operation zu nutzen, müssen Sie Ihrem Trainingsskript als Teil von Schritt 1: Anpassen Ihres PyTorch-FSDP-Trainingsskripts zwei Codezeilen hinzufügen. Beachten Sie, dass Sie PyTorch Distributed zuerst mit dem SMDDP-Backend initialisieren und dann die SMP-Initialisierung ausführen müssen.

import torch.distributed as dist

# Initialize with SMDDP
import smdistributed.dataparallel.torch.torch_smddp
dist.init_process_group(backend="smddp") # Replacing "nccl"

 # Initialize with SMP
import torch.sagemaker as tsm
tsm.init()

SageMaker Framework-Container für PyTorch (siehe auch Unterstützte Frameworks und AWS-Regionen von SMP v2 und Unterstützte Frameworks, AWS-Regionen und Instance-Typen von der SMDDP-Bibliothek) sind mit der SMP-Binärdatei und der SMDDP-Binärdatei vorkonfiguriert. Weitere Informationen zur SMDDP-Bibliothek finden Sie unter Führen Sie verteilte Trainings mit der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallelism) durch.