Variabili di ambiente SageMaker AI e percorsi predefiniti per le posizioni di archiviazione dell’addestramento
La tabella seguente riassume i percorsi di input e output per set di dati di addestramento, checkpoint, artefatti del modello e output, gestiti dalla piattaforma di addestramento SageMaker.
| Percorso locale nell'istanza di addestramento SageMaker | Variabile di ambiente SageMaker AI | Scopo | Legge da S3 durante l'avvio | Legge da S3 durante il riavvio tramite SPOT | Scrive su S3 durante l'addestramento | Scrive su S3 quando il processo viene terminato |
|---|---|---|---|---|---|---|
|
|
SM_CHANNEL_ |
Lettura dei dati di addestramento dai canali di input specificati tramite la classe dello strumento di stima |
Sì | Sì | No | No |
|
|
SM_OUTPUT_DIR |
Salvataggio di output come perdita, precisione, strati intermedi, pesi, gradienti, polarizzazione e output compatibili con TensorBoard. Puoi anche salvare qualsiasi output arbitrario che desideri utilizzando questo percorso. Nota che questo è un percorso diverso da quello per l’archiviazione dell'artefatto finale del modello |
No | No | No | Sì |
|
|
SM_MODEL_DIR |
Archiviazione dell'artefatto finale del modello. Questo è anche il percorso da cui inizia l’implementazione dell’artefatto del modello per l’inferenza in tempo reale nell’hosting SageMaker AI. |
No | No | No | Sì |
|
|
- |
Salvataggio dei checkpoint del modello (lo stato del modello) per riprendere l'addestramento da un determinato punto e riprendersi da interruzioni di Addestramento spot gestite o impreviste. |
Sì | Sì | Sì | No |
|
|
SAGEMAKER_SUBMIT_DIRECTORY |
Copiare script di addestramento, librerie aggiuntive e dipendenze. |
Sì | Sì | No | No |
|
|
- |
Lettura o scrittura su |
No | No | No | No |
1 channel_name è il posto in cui specificare i nomi dei canali definiti dall'utente per l'input dei dati di addestramento. Ogni processo di addestramento può contenere diversi canali di immissione dei dati. Puoi specificare fino a un massimo di 20 canali di input di addestramento per ciascun processo di addestramento. Tieni presente che il tempo di download dei dati dai canali di dati viene conteggiato per il tempo fatturabile. Per ulteriori informazioni sui percorsi di input dei dati, consulta Come Amazon SageMaker AI fornisce informazioni sull’addestramento. Inoltre, SageMaker AI supporta tre tipi di modalità di input dei dati: File, FastFile e Pipe. Per ulteriori informazioni sulle modalità di immissione dei dati per l’addestramento in SageMaker AI, consulta Accesso ai dati di addestramento.
2 SageMaker AI comprime e scrive artefatti di addestramento in file TAR (tar.gz). Il tempo di compressione e caricamento viene conteggiato nel tempo fatturabile. Per ulteriori informazioni, consulta Come Amazon SageMaker AI elabora l’output di addestramento.
3 SageMaker AI comprime e scrive l’artefatto del modello finale in un file TAR (tar.gz). Il tempo di compressione e caricamento viene conteggiato nel tempo fatturabile. Per ulteriori informazioni, consulta Come Amazon SageMaker AI elabora l’output di addestramento.
4 Sincronizzazione con Amazon S3 durante l'addestramento. Scrivi così com'è senza comprimerlo in file TAR. Per ulteriori informazioni, consulta Utilizzo dei checkpoint in Amazon SageMaker AI.
