Verteiltes Training mit der SMDDP-Bibliothek (SageMaker AI Distributed Data Parallelism)

Die SageMaker-AI-Bibliothek (SMDDP) ist benutzerfreundlich und bietet eine nahtlose Integration in PyTorch.

Wenn Sie ein Deep-Learning-Modell mit der SMDDP-Bibliothek auf SageMaker AI trainieren, können Sie sich auf das Schreiben Ihres Trainingsskripts und das Modelltraining konzentrieren.

Importieren Sie zunächst die SMDDP-Bibliothek, um ihre kollektiven Operationen zu verwenden, die für AWS optimiert sind. Die folgenden Themen enthalten Anweisungen dazu, was Sie Ihrem Trainingsskript hinzufügen müssen, je nachdem, welche kollektive Operation Sie optimieren möchten.