Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo Amazon SageMaker AI proporciona información de entrenamiento

En esta sección se explica cómo SageMaker AI hace que la información de entrenamiento, como los datos de entrenamiento, los hiperparámetros y otra información de configuración, esté disponible en su contenedor de Docker.

Cuando envíe una solicitud CreateTrainingJob a SageMaker AI para iniciar la entrenamiento de modelos, especifique la ruta de Amazon Elastic Container Registry (Amazon ECR) de la imagen de Docker que contiene el algoritmo de entrenamiento. También puede especificar la ubicación de Amazon Simple Storage Service (Amazon S3) en la que se almacenan los datos de entrenamiento y los parámetros específicos del algoritmo. SageMaker AI hace que esta información esté disponible para el contenedor de Docker de manera que su algoritmo de entrenamiento pueda utilizarlo. Esta sección explica cómo hacemos que esta información esté disponible para su contenedor de Docker. Para obtener información sobre un trabajo de entrenamiento, consulte CreateTrainingJob. Para obtener más información sobre la forma en que los contenedores de SageMaker AI organizan la información, consulte SageMaker Training e Inference Toolkits.

Hiperparámetros

SageMaker AI hace que los hiperparámetros de una solicitud CreateTrainingJob estén disponibles en el contenedor de Docker en el archivo /opt/ml/input/config/hyperparameters.json.

A continuación se muestra un ejemplo de una configuración de hiperparámetros en hyperparameters.json para especificar los hiperparámetros num_round y eta en la operación CreateTrainingJob de XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Para obtener una lista completa de los hiperparámetros que se pueden utilizar para el algoritmo XGBoost integrado en SageMaker AI, consulte Hiperparámetros XGBoost.

Los hiperparámetros que puede ajustar dependen del algoritmo que esté entrenando. Para obtener una lista de los hiperparámetros disponibles para un algoritmo integrado de SageMaker AI, búsquelos en la sección Hiperparámetros, en el enlace del algoritmo, en Utilizar de algoritmos integrados o modelos preentrenados de Amazon SageMaker AI.

Variables de entorno

SageMaker AI establece las siguientes variables de entorno en el contenedor:

Configuración de datos de entrada

SageMaker AI hace que la información del canal de datos en el parámetro InputDataConfig de su solicitud CreateTrainingJob esté disponible en el archivo /opt/ml/input/config/inputdataconfig.json del contenedor de Docker.

Por ejemplo, supongamos que especifica tres canales de datos (train, evaluation y validation) en su solicitud. SageMaker AI proporciona el siguiente JSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Datos de capacitación

El parámetro TrainingInputMode en la AlgorithmSpecification de la solicitud CreateTrainingJob especifica cómo se pone a disposición del contenedor el conjunto de datos de entrenamiento. Están disponibles los siguientes modos de entrada.

El entrenamiento de modelos de SageMaker AI admite buckets de directorio de S3 Express One Zone de alto rendimiento como ubicación de entrada de datos para el modo de archivo, el modo de archivo rápido y el modo de canalización. Para utilizar S3 Express One Zone, introduzca la ubicación del bucket del directorio de S3 Express One Zone en lugar de un bucket de uso general de Amazon S3. Proporcione el ARN del rol de IAM con la política pertinente de permisos y control de acceso. Consulte AmazonSageMakerFullAccesspolicy para obtener más información. Solo puede cifrar los datos de salida de SageMaker AI en buckets de directorio con cifrado del servidor con claves administradas de Amazon S3 (SSE-S3). No se admite el cifrado del servidor con claves de AWS KMS (SSE-KMS) para almacenar los datos de salida de SageMaker AI en los buckets de directorio. Para obtener más información, consulte S3 Express One Zone.

Configuración de entrenamiento distribuido

Si está realizando entrenamiento distribuido con varios contenedores, SageMaker AI crea información sobre todos los contenedores disponibles en el archivo /opt/ml/input/config/resourceconfig.json.

Para habilitar la comunicación entre contenedores, este archivo JSON contiene información relativa a todos los contenedores. SageMaker AI hace que este archivo esté disponible para los algoritmos de modo File y Pipe. El archivo proporciona la siguiente información:

A continuación se muestra un archivo de ejemplo en el nodo 1 en un clúster de tres nodos:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}