Compatibilité avec la bibliothèque SMDDP optimisée pour l'infrastructure AWS

Vous pouvez utiliser la bibliothèque de parallélisme de SageMaker modèles v2 (SMP v2) conjointement avec la bibliothèque de parallélisme de données SageMaker distribué (SMDDP) qui propose une opération de communication collective optimisée pour l'AllGatherinfrastructure. AWS Dans le cadre de l’entraînement distribué, les opérations de communication collective sont conçues pour synchroniser plusieurs applications de travail GPU et échanger des informations entre eux. AllGather est l’une des principales opérations de communication collective généralement utilisées dans le parallélisme partitionné des données. Pour en savoir plus sur le AllGather fonctionnement du SMDDP, voir Opération collective AllGather de la bibliothèque SMDDP L'optimisation de telles opérations de communication collective contribuerait directement à accélérer l' end-to-endentraînement sans effets secondaires sur la convergence.

La bibliothèque SMDDP s'intègre nativement PyTorch via la couche de groupes de processus. Pour utiliser la bibliothèque SMDDP, il suffit d’ajouter deux lignes de code à votre script d’entraînement. Il prend en charge tous les frameworks de formation tels que SageMaker Model Parallelism Library, PyTorch FSDP et. DeepSpeed

Pour activer SMDDP et utiliser son opération AllGather, vous devez ajouter deux lignes de code à votre script d’entraînement dans le cadre de Étape 1 : Adapter votre script d’entraînement PyTorch FSDP. Notez que vous devez d'abord initialiser PyTorch Distributed avec le backend SMDDP, puis exécuter l'initialisation SMP.

import torch.distributed as dist

# Initialize with SMDDP
import smdistributed.dataparallel.torch.torch_smddp
dist.init_process_group(backend="smddp") # Replacing "nccl"

 # Initialize with SMP
import torch.sagemaker as tsm
tsm.init()

SageMaker Les conteneurs Framework pour PyTorch (voir également Cadres et Régions AWS pris en charge par SMP v2 et Cadres de travail, Régions AWS et types d’instances pris en charge par la bibliothèque SMDDP) sont préemballés avec le binaire SMP et le binaire SMDDP. Pour en savoir plus sur les outils de la bibliothèque SMDDP, consultez Exécution d’entraînements distribués avec la bibliothèque SageMaker AI de parallélisme distribué des données.