Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Fine-tuning dei modelli di fondazione
I modelli base a cui puoi accedere tramite Amazon SageMaker Canvas possono aiutarti con una serie di attività generiche. Tuttavia, se hai un caso d’uso specifico e desideri personalizzare le risposte in base ai tuoi dati, puoi eseguire il fine-tuning di un modello di fondazione.
Per eseguire il fine-tuning di un modello di fondazione, devi fornire un set di dati composto da prompt di esempio e risposte del modello. Quindi, addestri il modello di fondazione sui dati. A questo punto, il modello di fondazione ottimizzato con fine-tuning è in grado di fornirti risposte più specifiche.
L’elenco seguente contiene i modelli di fondazione di cui puoi eseguire il fine-tuning in Canvas:
Titan Express
Falcon-7B
Falcon-7B-Instruct
Falcon-40B-Instruct
Falcon-40B
Flan-T5-Large
Flan-T5-Xl
Flan-T5-Xxl
MPT-7B
MPT-7B-Instruct
È possibile accedere a informazioni più dettagliate su ciascun modello di fondazione nell’applicazione Canvas durante il fine-tuning di un modello. Per ulteriori informazioni, consulta Fine-tuning del modello.
Questo argomento descrive come eseguire il fine-tuning dei modelli di fondazione in Canvas.
Prima di iniziare
Prima di perfezionare un modello di base, assicurati di disporre delle autorizzazioni per i Ready-to-use modelli in Canvas e di disporre di un ruolo di AWS Identity and Access Management esecuzione che abbia un rapporto di fiducia con Amazon Bedrock, che consenta ad Amazon Bedrock di assumere il tuo ruolo durante la messa a punto dei modelli di base.
Durante la configurazione o la modifica del dominio Amazon SageMaker AI, devi 1) attivare le autorizzazioni di configurazione dei Ready-to-use modelli Canvas e 2) creare o specificare un ruolo Amazon Bedrock, che è un ruolo di esecuzione IAM a cui l' SageMaker IA collega una relazione di fiducia con Amazon Bedrock. Per ulteriori informazioni sulla configurazione di queste impostazioni, consulta Prerequisiti per la configurazione di Amazon Canvas SageMaker .
Puoi configurare il ruolo Amazon Bedrock manualmente se preferisci utilizzare il tuo ruolo di esecuzione IAM (anziché lasciare che l' SageMaker IA ne crei uno per tuo conto). Per ulteriori informazioni sulla configurazione della relazione di attendibilità del tuo ruolo di esecuzione IAM con Amazon Bedrock, consulta Concessione di autorizzazioni agli utenti per utilizzare le funzionalità di Amazon Bedrock e di IA generativa in Canvas.
È inoltre necessario disporre di un set di dati formattato per la messa a punto di modelli linguistici di grandi dimensioni (). LLMs Di seguito è riportato un elenco di requisiti per il set di dati:
-
Il set di dati deve essere tabulare e contenere almeno due colonne di dati di testo: una colonna di input (che contiene esempi di prompt per il modello) e una colonna di output (che contiene esempi di risposte del modello).
Di seguito è riportato un esempio:
Input Output Quali sono le condizioni di spedizione?
Offriamo la spedizione gratuita per tutti gli ordini superiori a 50 $. Il costo di spedizione per gli ordini inferiori a 50 $ è di 5,99 $.
Come posso restituire un articolo?
Per restituire un articolo, visita il nostro centro resi e segui le istruzioni. È necessario fornire il numero dell’ordine e il motivo del reso.
Sto riscontrando problemi con il prodotto. Cosa posso fare?
Contatta il nostro team del supporto clienti che sarà lieto di aiutarti a risolvere il problema.
-
Consigliamo di creare set di dati con almeno 100 coppie di testo (righe di elementi di input e output corrispondenti). Questo garantisce che il modello di fondazione abbia dati sufficienti per il fine-tuning e aumenta l’accuratezza delle risposte.
-
Ogni elemento di input e output deve contenere un massimo di 512 caratteri. Gli elementi più lunghi vengono ridotti a 512 caratteri durante il fine-tuning del modello di fondazione.
Quando si esegue il fine-tuning di un modello Amazon Bedrock, è necessario rispettare le quote Amazon Bedrock. Per ulteriori informazioni, consulta Model customization quotas in Amazon Bedrock User Guide.
Per ulteriori informazioni sui requisiti e le limitazioni generali dei set di dati in Canvas, consulta Creazione di un set di dati.
Ottimizzare un modello di fondazione
È possibile eseguire il fine-tuning di un modello di fondazione utilizzando uno dei metodi seguenti nell’applicazione Canvas:
-
Durante una chat Genera, estrai e riepiloga i contenuti con un modello di fondazione, scegli l’icona Fine-tuning di un modello (
). -
Durante una chat con un modello di fondazione, se hai rigenerato la risposta due o più volte, Canvas ti offre la possibilità di eseguire il fine-tuning del modello. Lo screenshot seguente mostra cosa viene visualizzato.
-
Nella pagina I miei modelli, puoi creare un nuovo modello scegliendo Nuovo modello, quindi selezionando Ottimizza modello di fondazione.
-
Nella home page dei Ready-to-use modelli, puoi scegliere Crea il tuo modello, quindi nella finestra di dialogo Crea nuovo modello, scegli Fine-tune Foundation model.
-
Mentre sfogli i tuoi set di dati nella scheda Data Wrangler, puoi selezionare un set di dati e scegliere Crea un modello. Quindi, scegli Ottimizza modello di fondazione.
Dopo aver iniziato a eseguire il fine-tuning di un modello, procedi come descritto di seguito:
Selezione di un set di dati
Nella scheda Seleziona della sezione di fine-tuning di un modello, scegli i dati su cui desideri addestrare il modello di fondazione.
Seleziona un set di dati esistente o creane uno nuovo che soddisfi i requisiti elencati nella sezione Prima di iniziare. Per informazioni su come creare un set di dati, consulta Creazione di un set di dati.
Una volta selezionato o creato un set di dati e quando è tutto pronto per continuare, scegli Seleziona set di dati.
Fine-tuning del modello
Ora che i dati sono selezionati, è tutto pronto per iniziare l’addestramento e il fine-tuning del modello.
Nella scheda Ottimizza, procedi come descritto di seguito:
(Facoltativo) Scegli Ulteriori informazioni sui nostri modelli di fondazione per accedere a ulteriori informazioni su ciascun modello che possono aiutarti a decidere quale modello o modelli di fondazione implementare.
Per selezionare fino a 3 modelli base, apri il menu a discesa e controlla fino a 3 modelli base (fino a 2 JumpStart modelli e 1 modello Amazon Bedrock) che desideri perfezionare durante il processo di formazione. Eseguendo il fine-tuning di più modelli di fondazione, puoi confrontarne le prestazioni e infine scegliere come modello predefinito quello più adatto al tuo caso d’uso. Per ulteriori informazioni sui modelli predefiniti, consulta Visualizzazione dei modelli candidati nella classifica dei modelli.
In Seleziona colonna input, seleziona la colonna di dati di testo nel set di dati che contiene i prompt del modello di esempio.
In Seleziona colonna output, seleziona la colonna di dati di testo nel set di dati che contiene le risposte del modello di esempio.
-
(Facoltativo) Per configurare le impostazioni avanzate per il job di addestramento, scegli Configura modello. Per ulteriori informazioni sulle impostazioni avanzate per la creazione dei modelli, consulta Configurazioni avanzate per la creazione dei modelli.
Nella finestra pop-up Configura modello, procedi come descritto di seguito:
In Iperparametri, puoi regolare Numero Epoch, Dimensioni batch, Tasso di apprendimento e Fasi di riscaldamento del tasso di apprendimento per ogni modello selezionato. Per ulteriori informazioni su questi parametri, consulta la sezione Iperparametri nella documentazione. JumpStart
In Suddivisione dei dati, puoi specificare le percentuali in base alle quali dividere i dati tra il set di addestramento e il set di convalida.
In Massimo runtime del processo, puoi impostare il tempo massimo per l’esecuzione del processo di creazione in Canvas. Questa funzionalità è disponibile solo per i modelli di JumpStart base.
Dopo aver configurato le impostazioni, scegli Salva.
Scegli Ottimizza per iniziare ad addestrare i modelli di fondazione selezionati.
Una volta che il processo di fine-tuning viene avviato, puoi abbandonare la pagina. Il modello è pronto per essere utilizzato quando mostra lo stato Pronto nella pagina I miei modelli. Ora puoi analizzare le prestazioni del modello di fondazione ottimizzato con fine-tuning.
Analisi del modello di fondazione ottimizzato con fine-tuning
Nella scheda Analizza del modello di fondazione ottimizzato con fine-tuning, puoi vedere le prestazioni del modello.
La scheda Panoramica in questa pagina mostra i punteggi di perplessità e di perdita, insieme alle analisi che visualizzano il miglioramento del modello nel tempo durante l’addestramento. Lo screenshot seguente mostra la scheda Panoramica.
In questa pagina puoi visualizzare:
La curva di perplessità misura quanto efficacemente il modello prevede la parola successiva in una sequenza o quanto è grammaticalmente corretto l’output del modello. Idealmente, man mano che il modello migliora durante l’addestramento, il punteggio diminuisce e la curva si abbassa e si appiattisce gradualmente.
La curva di perdita quantifica la differenza tra l’output corretto e l’output previsto del modello. Una curva di perdita che diminuisce e si appiattisce gradualmente indica che il modello sta migliorando la sua capacità di generare previsioni accurate.
La scheda Metriche avanzate mostra gli iperparametri e le metriche aggiuntive per il modello. È simile alla scheda mostrata nello screenshot seguente:
La scheda Metriche avanzate contiene le informazioni seguenti:
-
La sezione Spiegabilità contiene gli Iperparametri, ovvero valori impostati prima del processo per guidare il fine-tuning del modello. Se non hai specificato iperparametri personalizzati nelle impostazioni avanzate del modello nella sezione Fine-tuning del modello, Canvas seleziona automaticamente gli iperparametri predefiniti.
Per JumpStart i modelli, puoi anche consultare la metrica avanzata ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
, che valuta la qualità dei riepiloghi generati dal modello. Misura la capacità del modello di riassumere i punti principali di un passaggio. La sezione Artefatti fornisce link agli artefatti generati durante il processo di fine-tuning. Puoi accedere ai dati di addestramento e convalida salvati in Amazon S3, nonché al link al report di valutazione del modello (per ulteriori informazioni, consulta il paragrafo seguente).
Per ottenere ulteriori informazioni sulla valutazione del modello, puoi scaricare un rapporto generato utilizzando SageMaker Clarify, una funzionalità che può aiutarti a rilevare distorsioni nel modello e nei dati. Innanzitutto, genera il report selezionando Genera report di valutazione nella parte inferiore della pagina. Una volta generato, puoi scaricare il report completo scegliendo Scarica report o tornando alla sezione Artefatti.
Puoi anche accedere a un notebook Jupyter che ti mostra come replicare il tuo processo di fine-tuning in codice Python. Puoi utilizzarlo per replicare o apportare modifiche programmatiche al processo di fine-tuning oppure per comprendere più a fondo in che modo Canvas esegue il fine-tuning del modello. Per ulteriori informazioni sui notebook del modello e su come accedervi, consulta Download di un notebook del modello.
Per ulteriori informazioni su come interpretare le informazioni nella scheda Analizza del modello di fondazione ottimizzato con fine-tuning, consulta l’argomento Valutazione del modello.
Dopo aver analizzato le schede Panoramica e Metriche avanzate, puoi anche scegliere di aprire la Classifica dei modelli, che mostra l’elenco dei modelli di base addestrati durante la creazione. Il modello con il punteggio di perdita più basso è considerato il modello con le migliori prestazioni e viene selezionato come modello predefinito, ovvero il modello la cui analisi viene visualizzata nella scheda Analizza. Puoi testare e implementare solo il modello predefinito. Per ulteriori informazioni sulla classifica dei modelli e su come cambiare il modello predefinito, consulta Visualizzazione dei modelli candidati nella classifica dei modelli.
Test di un modello di fondazione ottimizzato con fine-tuning in una chat
Dopo aver analizzato le prestazioni di un modello di fondazione ottimizzato con fine-tuning, potresti volerlo testare o confrontare le sue risposte con il modello di base. Puoi testare un modello di fondazione ottimizzato con fine-tuning in una chat nella funzionalità Genera, estrai e riepiloga i contenuti.
Avvia una chat con un modello ottimizzato con fine-tuning scegliendo uno dei seguenti metodi:
Nella scheda Analizza del modello ottimizzato, scegliete Test in modelli di base. Ready-to-use
Nella pagina dei Ready-to-use modelli Canvas, scegli Genera, estrai e riepiloga il contenuto. Quindi scegli Nuova chat e seleziona la versione del modello da testare.
Il modello si avvia in una chat e puoi interagire con esso come con qualsiasi altro modello di fondazione. Puoi aggiungere altri modelli alla chat e confrontarne i risultati. Per ulteriori informazioni sulla funzionalità di chat, consulta Modelli di base generativi di intelligenza artificiale in Canvas SageMaker .
Rendere operativi i modelli di fondazione ottimizzati con fine-tuning
Dopo aver eseguito il fine-tuning del modello in Canvas, puoi fare quanto segue:
Registra il modello nel Model SageMaker Registry per l'integrazione nei MLOps processi della tua organizzazione. Per ulteriori informazioni, consulta Registra una versione del modello nel registro dei modelli AI SageMaker .
Implementa il modello su un endpoint di SageMaker intelligenza artificiale e invia richieste al modello dalla tua applicazione o dal tuo sito Web per ottenere previsioni (o inferenze). Per ulteriori informazioni, consulta Distribuzione di modelli su un endpoint.
Importante
Puoi registrare e distribuire solo modelli di base ottimizzati JumpStart basati su Amazon Bedrock, non modelli basati su Amazon Bedrock.
