Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise à disposition d’informations d’entraînement par Amazon SageMaker AI

Cette section explique comment SageMaker AI met à la disposition de votre conteneur Docker des informations d’entraînement telles que des données d’entraînement, des hyperparamètres et d’autres informations de configuration.

Lorsque vous envoyez une demande CreateTrainingJob à SageMaker AI pour démarrer l’entraînement du modèle, vous spécifiez le chemin d’Amazon Elastic Container Registry (Amazon ECR) de l’image Docker qui contient l’algorithme d’entraînement. Vous spécifiez également l’emplacement Amazon Simple Storage Service (Amazon S3) dans lequel les données d’entraînement sont stockées, ainsi que les paramètres spécifiques à l’algorithme. SageMaker AI met ces informations à disposition du conteneur Docker afin que votre algorithme d’entraînement puisse les utiliser. Cette section explique comment ces informations sont rendues disponibles pour votre conteneur Docker. Pour plus d’informations sur la création d’une tâche d’entraînement, consultez CreateTrainingJob. Pour plus d’informations sur la façon dont les conteneurs SageMaker AI organisent les informations, consultez Boîtes à outils d’entraînement et d’inférence SageMaker.

Hyperparamètres

SageMaker AI rend les hyperparamètres d’une requête CreateTrainingJob disponibles dans le conteneur Docker dans le fichier /opt/ml/input/config/hyperparameters.json.

Voici un exemple de configuration d’hyperparamètres dans hyperparameters.json permettant de spécifier les hyperparamètres num_round et eta dans l’opération CreateTrainingJob pour XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Pour obtenir la liste complète des hyperparamètres pouvant être utilisés pour l’algorithme XGBoost intégré à SageMaker AI, consultez Hyperparamètres XGBoost.

Les hyperparamètres que vous pouvez régler dépendent de l’algorithme que vous entraînez. Pour obtenir la liste des hyperparamètres disponibles pour un algorithme intégré de SageMaker AI, reportez-vous à la liste Hyperparamètres sous le lien de l’algorithme dans Utilisation des algorithmes intégrés d’Amazon SageMaker AI ou des modèles pré-entraînés.

Variables d’environnement

SageMaker AI définit les variables d’environnement suivantes dans votre conteneur :

Configuration des données d’entrée

SageMaker AI met à disposition les informations de canal de données spécifiées dans le paramètre InputDataConfig de votre demande CreateTrainingJob dans le fichier /opt/ml/input/config/inputdataconfig.json de votre conteneur Docker.

Par exemple, supposons que vous spécifiiez trois canaux de données (train, evaluation et validation) dans votre requête. SageMaker AI fournit les informations JSON suivantes :

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Données d’entraînement

Le paramètre TrainingInputMode dans AlgorithmSpecification de la demande CreateTrainingJob spécifie comment le jeu de données d’entraînement est mis à la disposition de votre conteneur. Les modes d’entrée suivants sont disponibles.

L’entraînement des modèles SageMaker AI prend en charge les compartiments de répertoire S3 Express One Zone à hautes performances comme emplacement d’entrée de données pour le mode Fichier, le mode Fichier rapide et le mode Pipe. Pour utiliser S3 Express One Zone, entrez l’emplacement du compartiment de répertoire S3 Express One Zone au lieu d’un compartiment Amazon S3 à usage général. Fournissez l’ARN du rôle IAM avec la politique de contrôle d’accès et d’autorisation requise. Reportez-vous à AmazonSageMakerFullAccesspolicy pour plus de détails. Vous ne pouvez chiffrer vos données de sortie SageMaker AI que dans des compartiments de répertoire avec le chiffrement côté serveur et les clés gérées par Amazon S3 (SSE-S3). Le chiffrement côté serveur à l’aide de clés AWS KMS (SSE-KMS) n’est actuellement pas pris en charge pour le stockage des données de sortie SageMaker AI dans les compartiments de répertoire. Pour plus d’informations, consultez S3 Express One Zone.

Configuration d’entraînement distribué

Si vous effectuez un entraînement distribué avec plusieurs conteneurs, SageMaker AI rend les informations sur tous les conteneurs disponibles dans le fichier /opt/ml/input/config/resourceconfig.json.

Pour activer la communication entre les conteneurs, ce fichier JSON contient des informations sur tous les conteneurs. SageMaker AI rend ce fichier disponible pour les algorithmes en mode File et Pipe. Le fichier fournit les informations suivantes :

Voici un exemple de fichier sur le nœud 1 d’un cluster à trois nœuds :

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}