Gestion des chemins de stockage pour différents types de stockage local d’instances

Si vous souhaitez stocker des artefacts d'entraînement pour un entraînement distribué dans le répertoire /opt/ml/output/data, vous devez attribuer correctement des sous-répertoires ou utiliser des noms de fichiers uniques aux artefacts via votre définition de modèle ou votre script d'entraînement. Si les sous-répertoires et les noms de fichiers ne sont pas correctement configurés, toutes les applications de travail d'entraînement distribué peuvent écrire des sorties sous le même nom de fichier dans le même chemin de sortie dans Amazon S3.

Si vous utilisez un conteneur d'entraînement personnalisé, assurez-vous d'installer la Boîte à outils d'entraînement SageMaker qui aide à configurer l'environnement pour les tâches d'entraînement dans SageMaker. Sinon, vous devez spécifier les variables d'environnement explicitement dans votre fichier Docker. Pous plus d’informations, consultez Création d’un conteneur avec vos propres algorithmes et modèles

Lorsque vous utilisez une instance de ML avec des volumes SSD NVMe, SageMaker AI ne provisionne pas de stockage gp2 Amazon EBS. Le stockage disponible est fixé en fonction de la capacité de stockage de l'instance de type NVMe. SageMaker AI configure les chemins de stockage pour les jeux de données d’entraînement, les points de contrôle, les artefacts de modèle et les sorties, afin d’utiliser la totalité de la capacité du stockage d’instance. Par exemple, les familles d'instances ML dotées du stockage d'instance de type NVMe incluent ml.p4d, ml.g4dn et ml.g5. Lorsque vous utilisez une instance de ML avec l’option de stockage EBS uniquement et sans stockage d’instance, vous devez définir la taille du volume EBS via le paramètre volume_size dans la classe d’estimateur SageMaker AI (ou VolumeSizeInGB si vous utilisez l’API ResourceConfig). Par exemple, les familles d'instances ML qui utilisent les volumes EBS incluent ml.c5 et ml.p2. Pour rechercher les types d'instance ainsi que leurs volumes et types de stockage d'instance, consultez Types d'instances Amazon EC2.

Les chemins par défaut pour les tâches d'entraînement SageMaker sont montés sur des volumes Amazon EBS ou des volumes SSD NVMe de l'instance ML. Lorsque vous adaptez votre script d’entraînement à SageMaker AI, veillez à utiliser les chemins par défaut répertoriés dans la rubrique précédente concernant les Variables d’environnement SageMaker AI et chemins par défaut des emplacements de stockage d’entraînement. Nous vous recommandons d'utiliser le répertoire /tmp comme espace auxiliaire pour stocker temporairement des objets volumineux pendant l'entraînement. Cela signifie que vous ne devez pas utiliser les répertoires montés sur un petit espace disque alloué au système, tel que /user ou /home, pour éviter des erreurs de manque d'espace