Entraînement distribué avec la bibliothèque SageMaker AI de parallélisme distribué des données

La bibliothèque SageMaker AI de parallélisme distribué des données (SMDDP) est conçue pour faciliter l’utilisation et permettre une intégration fluide avec PyTorch.

Quand vous entraînez un modèle de deep learning avec la bibliothèque SMDDP sur SageMaker AI, vous pouvez vous concentrer sur l’écriture de votre script d’entraînement et l’entraînement du modèle.

Pour commencer, importez la bibliothèque SMDDP afin d’utiliser ses opérations collectives optimisées pour AWS. Les rubriques suivantes fournissent des instructions sur les éléments à ajouter à votre script d’entraînement en fonction de l’opération collective que vous souhaitez optimiser.