Gestione dei percorsi di archiviazione per diversi tipi di archiviazione locale delle istanze

Se desideri memorizzare gli artefatti didattici per l’addestramento distribuito nella directory /opt/ml/output/data, devi aggiungere correttamente le sottodirectory o utilizzare nomi di file univoci per gli artefatti tramite la definizione del modello o lo script di addestramento. Se le sottodirectory e i nomi dei file non sono configurati correttamente, tutti gli addetti all’addestramento distribuito potrebbero scrivere output con lo stesso nome di file nello stesso percorso di output in Amazon S3.

Se utilizzi un container di addestramento personalizzato, assicurati di installare il Kit di strumenti di addestramento SageMaker che aiuta a configurare l'ambiente per i processi di addestramento SageMaker. Altrimenti, è necessario specificare le variabili di ambiente in modo esplicito nel Dockerfile. Per ulteriori informazioni, consulta Creare un container con algoritmi e modelli personalizzati.

Quando si utilizza un’istanza ML con volumi SSD NVMe, SageMaker AI non fornisce l’archiviazione Amazon EBS gp2. Lo storage disponibile è fissato alla capacità di storage dell'istanza di tipo NVMe. SageMaker AI configura percorsi di archiviazione per addestrare set di dati, checkpoint, artefatti del modello e output e utilizzare così l’intera capacità di archiviazione dell’istanza. Ad esempio, le famiglie di istanze ML con storage di istanze di tipo NVMe includono ml.p4d, ml.g4dn e ml.g5. Quando si utilizza un’istanza ML con l’opzione di archiviazione solo EBS e senza archiviazione di istanze, è necessario definire la dimensione del volume EBS tramite il parametro volume_size nella classe dello strumento di stima SageMaker AI (o VolumeSizeInGB se si utilizza l’API ResourceConfig). Ad esempio, le famiglie di istanze ML che utilizzano volumi EBS includono ml.c5 e ml.p2. Per cercare i tipi di istanze e i relativi tipi e volumi di storage delle istanze, consulta la sezione Tipi di istanze Amazon EC2.

I percorsi predefiniti per i processi di addestramento SageMaker sono montati su volumi Amazon EBS o volumi SSD NVMe dell'istanza ML. Quando adatti lo script di addestramento a SageMaker AI, assicurati di utilizzare i percorsi predefiniti elencati nel precedente argomento su Variabili di ambiente SageMaker AI e percorsi predefiniti per le posizioni di archiviazione dell’addestramento. Si consiglia di utilizzare la directory /tmp come spazio di memoria virtuale per memorizzare temporaneamente oggetti di grandi dimensioni durante l'addestramento. Ciò significa che non è necessario utilizzare directory montate su un piccolo spazio su disco allocato al sistema, come /user e /home, per evitare errori di esaurimento dello spazio.