Esecuzione di carichi di lavoro di formazione distribuiti con Slurm on HyperPod - Amazon SageMaker AI
Utilizzo di SMDDP su un SageMaker HyperPodUtilizzo SageMaker HyperPod di SMP su un cluster

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esecuzione di carichi di lavoro di formazione distribuiti con Slurm on HyperPod

SageMaker HyperPod è specializzato per carichi di lavoro di formazione di modelli linguistici di grandi dimensioni (LLMs) e modelli di base (). FMs Questi carichi di lavoro richiedono spesso l’utilizzo di più tecniche di parallelizzazione e operazioni ottimizzate per l’infrastruttura e le risorse di ML. Utilizzando SageMaker HyperPod, puoi utilizzare i seguenti framework di formazione distribuiti SageMaker basati sull'intelligenza artificiale:

Utilizzo di SMDDP su un SageMaker HyperPod

La libreria SMDDP è una libreria di comunicazione collettiva che migliora le prestazioni di calcolo dell’addestramento distribuito con parallelizzazione dei dati. La libreria SMDDP funziona con i seguenti framework di addestramento distribuito open source:

La libreria SMDDP affronta il sovraccarico di comunicazione delle principali operazioni di comunicazione collettiva offrendo quanto segue per. SageMaker HyperPod

  • La libreria offre offerte AllGather ottimizzate per. AWS AllGatherè un'operazione chiave utilizzata nell'addestramento parallelo dei dati condivisi, una tecnica di parallelismo dei dati efficiente in termini di memoria offerta dalle librerie più diffuse. Queste includono la libreria SageMaker AI Model Parallelism (SMP), DeepSpeed Zero Redundancy Optimizer (Zero) e Fully Sharded Data Parallelism (FSDP). PyTorch

  • La libreria esegue node-to-node comunicazioni ottimizzate utilizzando appieno l'infrastruttura di rete e la topologia dell'istanza AI ML. AWS SageMaker

Per eseguire job di addestramento di esempio con parallelizzazione dei dati

Esplora gli esempi seguenti di addestramento distribuito che implementano tecniche di parallelizzazione dei dati utilizzando la libreria SMDDP.

Per configurare un ambiente per l'utilizzo della libreria SMDDP su SageMaker HyperPod

Di seguito sono riportati i requisiti dell'ambiente di formazione per l'utilizzo della libreria SMDDP su. SageMaker HyperPod

  • PyTorch v2.0.1 e versioni successive

  • CUDA v11.8 e versioni successive

  • libstdc++ versione di runtime superiore a 3

  • Python v3.10.x e versioni successive

  • ml.p4d.24xlarge e ml.p4de.24xlarge, ovvero i tipi di istanze supportati dalla libreria SMDDP

  • imdsv2 abilitato sull’host di addestramento

A seconda di come si desidera eseguire il job di addestramento distribuito, sono disponibili due opzioni per installare la libreria SMDDP:

  • Un’installazione diretta che utilizza il file binario SMDDP.

  • Utilizzo dell' SageMaker AI Deep Learning Containers (DLCs) preinstallato con la libreria SMDDP.

Le immagini Docker preinstallate con la libreria SMDDP o i file binari SMDDP sono elencate URLs in Supported Frameworks nella documentazione della libreria SMDDP.

Per installare la libreria SMDDP su DLAMI SageMaker HyperPod

  • pip install --no-cache-dir https://smdataparallel.s3.amazonaws.com/binary/pytorch/<pytorch-version>/cuXYZ/YYYY-MM-DD/smdistributed_dataparallel-X.Y.Z-cp310-cp310-linux_x86_64.whl

    Nota

    Se lavori in un ambiente Conda, assicurati di installare PyTorch using instead of. conda install pip

    conda install pytorch==X.Y.Z  torchvision==X.Y.Z torchaudio==X.Y.Z pytorch-cuda=X.Y.Z -c pytorch -c nvidia
Per utilizzare la libreria SMDDP su un container Docker

  • La libreria SMDDP è preinstallata su SageMaker AI Deep Learning Containers (). DLCs Per trovare l'elenco dei framework SageMaker DLCs AI compatibili PyTorch con la libreria SMDDP, consulta Supported Frameworks nella documentazione della libreria SMDDP. Puoi anche utilizzare il tuo container Docker su cui sono installate le dipendenze richieste per la libreria SMDDP. Per ulteriori informazioni sulla configurazione di un container Docker personalizzato per l’utilizzo della libreria SMDDP, consulta anche Creare un container Docker con la libreria SageMaker AI Distributed Data Parallelism.

    Importante

    Per utilizzare la libreria SMDDP in un container Docker, monta la directory /var/log dal computer host a /var/log nel container. Per farlo, aggiungi l’opzione seguente durante l’esecuzione del container.

    docker run <OTHER_OPTIONS> -v /var/log:/var/log ...

Per informazioni generali su come eseguire job di addestramento con parallelizzazione dei dati con SMDDP, consulta Addestramento distribuito con la libreria SageMaker AI Distributed Data Parallelism.

Utilizzo SageMaker HyperPod di SMP su un cluster

La libreria SageMaker AI model parallelism (SMP) offre varie tecniche di parallelismo dei state-of-the-art modelli, tra cui:

  • fully sharded data parallelism

  • parallelizzazione degli esperti

  • addestramento di precisione misto con/e tipi di dati FP16 BF16 FP8

  • parallelizzazione tensoriale

La libreria SMP è anche compatibile con framework open source come PyTorch FSDP, NVIDIA Megatron e NVIDIA Transformer Engine.

Per eseguire un esempio di carico di lavoro di addestramento con parallelizzazione del modello

I team di assistenza SageMaker AI forniscono esempi di lavori di formazione che implementano il parallelismo dei modelli con la libreria SMP all'indirizzo. awsome-distributed-training/3.test_cases/17.SM-modelparallelv2