Planification d’exécutions d’un pipeline

Vous pouvez planifier vos exécutions Amazon SageMaker Pipelines à l’aide d’Amazon EventBridge. Amazon SageMaker Pipelines est pris en charge en tant que cible dans Amazon EventBridge. Cela vous permet de lancer l’exécution de votre pipeline de création de modèle en fonction de n’importe quel événement dans votre bus d’événements. Avec EventBridge, vous pouvez automatiser vos exécutions de pipelines et répondre automatiquement à des événements tels qu’un changement d’état de tâche d’entraînement ou de point de terminaison. Les événements incluent le téléchargement d’un nouveau fichier vers votre compartiment Amazon S3, un changement de statut de votre point de terminaison Amazon SageMaker AI en raison de la dérive, et des rubriques Amazon Simple Notification Service (SNS).

Les actions Pipelines suivantes peuvent être lancées automatiquement : 

Pour plus d’informations sur la planification des tâches SageMaker AI, consultez Automatisation de SageMaker AI à l’aide d’Amazon EventBridge.

Planifier un pipeline avec Amazon EventBridge

Pour démarrer l'exécution d'un pipeline avec Amazon CloudWatch Events, vous devez créer une règle EventBridge. Lorsque vous créez une règle pour les événements, vous spécifiez une action cible à effectuer lorsqu’EventBridge reçoit un événement correspondant à la règle. Lorsqu'un événement correspond à la règle, EventBridge envoie l'événement à la cible spécifiée et lance l'action définie dans la règle.

Les tutoriels suivants montrent comment planifier l'exécution d'un pipeline avec EventBridge à l'aide de la console EventBridge ou de la AWS CLI. 

Prérequis

Créer une règle de EventBridge à l’aide de la console EventBridge

La procédure suivante montre comment créer une règle EventBridge à l'aide de la console EventBridge. 

Votre règle est maintenant en vigueur et prête à lancer les exécutions de votre pipeline.

Pour créer une règle EventBridge à l’aide de la AWS CLI

La procédure suivante montre comment créer une règle EventBridge à l’aide de la AWS CLI.

Planification d’un pipeline avec le kit SageMaker Python SDK

Les sections suivantes montrent comment configurer les autorisations pour accéder aux ressources EventBridge et créer la planification de votre pipeline à l’aide du kit SageMaker Python SDK.

Autorisations requises

Vous devez posséder les autorisations nécessaires pour utiliser le planificateur de pipeline. Suivez la procédure ci-dessous pour configurer vos autorisations :

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "scheduler.amazonaws.com",
                    "sagemaker.amazonaws.com"
                ]
            },
        "Action": "sts:AssumeRole"
        }
    ]
}

Création d’une planification de pipeline

À l’aide du constructeur PipelineSchedule, vous pouvez planifier l’exécution d’un pipeline une fois ou à un intervalle prédéterminé. Une planification de pipeline doit être du type at, rate ou cron. Cet ensemble de types de planification est une extension des options de planification EventBridge. Pour plus d’informations sur la façon d’utiliser la classe PipelineSchedule, consultez sagemaker.workflow.triggers.PipelineSchedule. L’exemple suivant montre comment créer chaque type de planification avec PipelineSchedule.

from sagemaker.workflow.triggers import PipelineSchedule

# schedules a pipeline run for 12/13/2023 at time 10:15:20 UTC
my_datetime_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(2023, 12, 13, 10, 15, 20)
)

# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
    name="<schedule-name>", 
    rate=(5, "minutes")
)

# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
    name="<schedule-name>", 
    cron="15 10 ? * 6L 2022-2023"
)

Attachement du déclencheur à votre pipeline

Pour attacher votre PipelineSchedule à votre pipeline, invoquez l’appel put_triggers sur l’objet de pipeline que vous avez créé avec une liste de déclencheurs. Si vous obtenez un ARN de réponse, vous avez correctement créé la planification dans votre compte et EventBridge commence à invoquer le pipeline cible à l’heure ou à la fréquence spécifiée. Vous devez spécifier un rôle doté des autorisations appropriées pour attacher des déclencheurs à un pipeline parent. Si vous n’en fournissez pas, Pipelines récupère le rôle par défaut utilisé pour créer le pipeline à partir du fichier de configuration.

L’exemple suivant montre comment attacher une planification à un pipeline.

scheduled_pipeline = Pipeline(
    name="<pipeline-name>",
    steps=[...],
    sagemaker_session=<sagemaker-session>,
)
custom_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=<role>)

Description des déclencheurs actuels

Pour extraire des informations sur les déclencheurs de pipeline que vous avez créés, vous pouvez invoquer l’API describe_trigger() avec le nom du déclencheur. Cette commande renvoie des détails sur l’expression de planification créée, tels que son heure de début, son état activé et d’autres informations utiles. L’extrait de code suivant montre un exemple d’invocation :

scheduled_pipeline.describe_trigger(name="<schedule-name>")

Nettoyage des ressources des déclencheurs

Avant de supprimer votre pipeline, nettoyez les déclencheurs existants pour éviter une fuite de ressources dans votre compte. Vous devez supprimer les déclencheurs avant de détruire le pipeline parent. Vous pouvez supprimer vos déclencheurs en transmettant la liste des noms de déclencheurs à l’API delete_triggers. L’extrait de code suivant montre comment supprimer des déclencheurs.

pipeline.delete_triggers(trigger_names=["<schedule-name>"])