Caratteristiche principali della libreria di parallelismo dei modelli SageMaker

La libreria di parallelizzazione dei modelli di Amazon SageMaker AI offre strategie di distribuzione e tecniche di risparmio di memoria, come la parallelizzazione dei dati sottoposti a sharding, la parallelizzazione tensoriale, il partizionamento dei modelli per livelli per la pianificazione delle pipeline e il checkpoint. Le strategie e le tecniche di parallelismo dei modelli aiutano a distribuire modelli di grandi dimensioni su più dispositivi, ottimizzando al contempo la velocità di addestramento e il consumo di memoria. La libreria fornisce anche funzioni di supporto in Python, gestori di contesto e funzioni wrapper per adattare lo script di addestramento per il partizionamento automatico o manuale del modello.

Quando si implementa il parallelismo dei modelli nel processo di addestramento, si mantiene lo stesso flusso di lavoro in due fasi mostrato nella sezione Esegui un processo di addestramento distribuito SageMaker con Parallelismo del modello. Per adattare lo script di addestramento, aggiungerete zero o poche righe di codice aggiuntive allo script di addestramento. Per avviare un processo di addestramento dello script di addestramento adattato, è necessario impostare i parametri di configurazione della distribuzione per attivare le funzioni di risparmio di memoria o per trasmettere i valori relativi al grado di parallelismo.

Per iniziare con gli esempi, consulta i seguenti notebook Jupyter che mostrano come utilizzare la libreria di parallelismo dei modelli SageMaker.

Per approfondire le caratteristiche principali della libreria, consulta i seguenti argomenti.