View a markdown version of this page

Come funziona SageMaker lo smart sifting - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Come funziona SageMaker lo smart sifting

L'obiettivo dello SageMaker smart sifting è quello di esaminare i dati di allenamento durante il processo di addestramento e fornire al modello solo campioni più informativi. Durante l'allenamento tipico con PyTorch, i dati vengono inviati iterativamente in batch al ciclo di allenamento e ai dispositivi di accelerazione (come i GPUs chip Trainium) dal. PyTorchDataLoader SageMaker lo smart sifting viene implementato in questa fase di caricamento dei dati ed è quindi indipendente da qualsiasi preelaborazione dei dati a monte nella pipeline di formazione. SageMaker smart sifting utilizza il modello e la relativa funzione di perdita specificata dall'utente per eseguire un trasferimento valutativo di ciascun campione di dati man mano che viene caricato. I campioni che restituiscono valori a bassa perdita hanno un impatto minore sull’apprendimento del modello e sono quindi esclusi dall’addestramento, perché è già semplice per il modello effettuare una previsione corretta su di essi con un alto livello di certezza. Nel frattempo, i campioni con perdite relativamente elevate devono ancora essere appresi dal modello, quindi vengono mantenuti per l’addestramento. Un input chiave che è possibile impostare per lo SageMaker smart sifting è la proporzione di dati da escludere. Ad esempio, impostando la proporzione al 25%, i campioni distribuiti nel quartile inferiore della distribuzione di perdita (prelevati da un numero di campioni precedenti specificato dall’utente) sono esclusi dall’addestramento. I campioni ad alta perdita vengono accumulati in un batch di dati perfezionato. Il batch di dati perfezionati viene inviato al ciclo di addestramento (passaggio avanti e indietro) e il modello apprende e si addestra in base al batch di dati perfezionato.

Il diagramma seguente mostra una panoramica di come è progettato l'algoritmo di setacciamento SageMaker intelligente.

Diagramma architettonico del funzionamento dello SageMaker smart sifting durante l'addestramento man mano che i dati vengono caricati.

In breve, lo SageMaker smart sifting funziona durante l'allenamento man mano che i dati vengono caricati. L'algoritmo SageMaker smart sifting esegue il calcolo delle perdite su più batch ed elimina i dati non migliorativi prima del passaggio avanti e indietro di ogni iterazione. Il batch di dati perfezionato viene quindi utilizzato per il passaggio avanti e indietro.

Nota

Il setacciamento intelligente dei dati sull' SageMaker intelligenza artificiale utilizza passaggi avanzati aggiuntivi per analizzare e filtrare i dati di allenamento. A loro volta, si verificano meno passaggi indietro, poiché i dati con un impatto minore vengono esclusi dal job di addestramento. Per questo motivo, i modelli con passaggi indietro lunghi o costosi ottengono i maggiori vantaggi in termini di efficienza quando utilizzano la funzionalità di smart sifting. Al contrario, se il passaggio avanti del modello richiede più tempo rispetto al passaggio indietro, l’overhead potrebbe aumentare il tempo totale di addestramento. Per misurare il tempo impiegato per ogni passaggio, è possibile eseguire un job di addestramento pilota e raccogliere log del tempo impiegato nei processi. Considerate anche l'utilizzo di SageMaker Profiler, che fornisce strumenti di profilazione e un'applicazione per l'interfaccia utente. Per ulteriori informazioni, consulta Amazon SageMaker Profiler.

SageMaker smart sifting è ideale per lavori di formazione PyTorch basati sul classico parallelismo distribuito dei dati, che riproduce i modelli su ogni operatore della GPU ed esegue le stesse prestazioni. AllReduce Funziona con PyTorch DDP e la libreria parallela di dati distribuiti SageMaker AI.