Préparation d’une tâche d’entraînement pour collecter les données de sortie TensorBoard

Une tâche d’entraînement classique pour le machine learning dans SageMaker AI comprend deux étapes principales : la préparation d’un script d’entraînement et la configuration d’un objet estimateur SageMaker dans le kit SageMaker AI Python SDK. Dans cette section, vous pourrez apprendre les modifications nécessaires pour collecter des données compatibles avec TensorBoard à partir des tâches d’entraînement SageMaker.

Prérequis

La liste suivante indique les conditions préalables pour commencer à utiliser le profileur SageMaker AI avec TensorBoard.

Étape 1 : modifier votre script d’entraînement avec les outils d’assistance TensorBoard open source

Veillez à déterminer les tenseurs et les scalaires de sortie à collecter et à modifier les lignes de code de votre script d’entraînement à l’aide de l’un des outils suivants : TensorBoardX, TensorFlow Summary Writer, PyTorch Summary Writer ou SageMaker Debugger.

Assurez-vous également de spécifier le chemin de sortie des données TensorBoard en tant que répertoire du journal (log_dir) pour le rappel dans le conteneur d’entraînement.

Pour plus d’informations sur les rappels par framework, consultez les ressources suivantes.

Étape 2 : créer un objet estimateur d’entraînement SageMaker avec la configuration de sortie TensorBoard

Utilisez sagemaker.debugger.TensorBoardOutputConfig lors de la configuration d’un estimateur de framework SageMaker AI. Cette API de configuration mappe le compartiment S3 que vous spécifiez pour enregistrer les données TensorBoard avec le chemin local dans le conteneur d’entraînement (/opt/ml/output/tensorboard). Passez l’objet du module au paramètre tensorboard_output_config de la classe d’estimateur. L’extrait de code suivant présente un exemple de préparation d’un estimateur TensorFlow avec le paramètre de configuration de sortie TensorBoard.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)