Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Impostazioni avanzate
L'adattatore per SageMaker HyperPod ricette è basato sui framework Nvidia Nemo e PyTorch-Lightning. Se hai già utilizzato questi framework, l'integrazione di modelli o funzionalità personalizzati nell'adattatore per ricette è un processo simile. SageMaker HyperPod Oltre a modificare l’adattatore delle ricette, puoi modificare il tuo script di preaddestramento o di fine-tuning. Per indicazioni su come scrivere uno script di addestramento personalizzato, consulta gli esempi
Usa l' SageMaker HyperPod adattatore per creare il tuo modello
All’interno dell’adattatore delle ricette, puoi personalizzare i file seguenti nelle posizioni specificate:
-
collections/data: contiene un modulo responsabile del caricamento dei set di dati. Attualmente supporta solo set di dati provenienti da HuggingFace. Se hai requisiti più avanzati, la struttura del codice ti consente di aggiungere moduli dati personalizzati all’interno della stessa cartella. -
collections/model: include le definizioni di vari modelli linguistici. Al momento, supporta i modelli linguistici di grandi dimensioni più diffusi, come Llama, Mixtral e Mistral. Questa opzione ti offre la flessibilità di introdurre le tue definizioni del modello all’interno di questa cartella. -
collections/parts: questa cartella contiene strategie per addestrare i modelli in modo distribuito. Un esempio è la strategia Fully Sharded Data Parallel (FSDP), che consente lo sharding di un modello linguistico di grandi dimensioni su più acceleratori. Inoltre, le strategie supportano varie forme di parallelizzazione del modello. Puoi anche introdurre strategie di addestramento personalizzate per l’addestramento dei modelli. -
utils: contiene varie utilità volte a facilitare la gestione di un job di addestramento. Funge da repository dove conservare i propri strumenti. Puoi utilizzare i tuoi strumenti per attività come la risoluzione dei problemi o il benchmarking. Puoi anche aggiungere i tuoi callback PyTorch Lightning personalizzati all'interno di questa cartella. Puoi utilizzare i callback PyTorch Lightning per integrare senza problemi funzionalità o operazioni specifiche nel ciclo di vita della formazione. -
conf: contiene le definizioni dello schema di configurazione utilizzate per convalidare parametri specifici in un job di addestramento. Se introduci nuovi parametri o configurazioni, puoi aggiungere lo schema personalizzato a questa cartella. Puoi utilizzare lo schema personalizzato per definire le regole di convalida. Puoi convalidare tipi di dati, intervalli o qualsiasi altro vincolo di parametro. Puoi anche definire uno schema personalizzato per convalidare i parametri.
