Pianificazione delle esecuzioni della pipeline

Puoi pianificare le esecuzioni di Amazon SageMaker Pipelines con Amazon EventBridge. Amazon SageMaker Pipelines è supportato come destinazione in Amazon EventBridge. Ciò consente di avviare l'esecuzione della pipeline per la costruzione di modelli in base a qualsiasi evento nel bus di eventi. EventBridge ti consente di automatizzare le esecuzioni della pipeline e rispondere automaticamente a eventi come i processi di addestramento o le modifiche dello stato degli endpoint. Gli eventi includono il caricamento di un nuovo file nel bucket Amazon S3, una modifica dello stato dell’endpoint Amazon SageMaker AI dovuta a una deriva e argomenti di Amazon Simple Notification Service (SNS).

Le azioni di Pipelines seguenti possono essere avviate automaticamente: 

Per ulteriori informazioni sulla pianificazione dei processi di SageMaker AI, consulta Automazione di SageMaker AI con Amazon EventBridge.

Pianificazione di una pipeline con Amazon EventBridge

Per avviare l'esecuzione di una pipeline con Eventi Amazon CloudWatch, devi creare una regola EventBridge. Quando crei una regola per gli eventi, specifichi un'operazione mirata da intraprendere quando EventBridge riceve un evento che corrisponde alla regola. Quando un evento corrisponde alla regola, EventBridge invia l'evento alla destinazione specificata e avvia l'operazione definita nella regola.

I seguenti tutorial mostrano come pianificare l'esecuzione di una pipeline con EventBridge utilizzando la console EventBridge o la AWS CLI. 

Prerequisiti

Creazione di una regola EventBridge utilizzando la console EventBridge

La procedura seguente mostra come creare una regola EventBridge utilizzando la console EventBridge. 

La tua regola è ora in vigore e pronta per avviare le esecuzioni della pipeline.

Creazione di una regola EventBridge tramite la AWS CLI

La procedura seguente mostra come creare una regola EventBridge utilizzando la AWS CLI.

Pianificazione di una pipeline con SageMaker Python SDK

Le sezioni seguenti mostrano come configurare le autorizzazioni per accedere alle risorse EventBridge e creare la pianificazione della pipeline con SageMaker Python SDK.

Autorizzazioni richieste

Per eseguire lo scheduler per le pipeline, devi disporre delle autorizzazioni necessarie. Completa la procedura seguente per configurare le autorizzazioni:

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "scheduler.amazonaws.com",
                    "sagemaker.amazonaws.com"
                ]
            },
        "Action": "sts:AssumeRole"
        }
    ]
}

Creazione di una pianificazione della pipeline

Utilizzando il costruttore PipelineSchedule, puoi pianificare l’esecuzione di una pipeline una tantum o a intervalli predeterminati. Una pianificazione della pipeline deve essere di tipo at, rate o cron. Questo set di tipi di pianificazione è un’estensione delle opzioni di pianificazione di EventBridge. Per ulteriori informazioni su come utilizzare la classe PipelineSchedule, consulta sagemaker.workflow.triggers.PipelineSchedule. L’esempio seguente mostra come creare ciascun tipo di pianificazione con PipelineSchedule.

from sagemaker.workflow.triggers import PipelineSchedule

# schedules a pipeline run for 12/13/2023 at time 10:15:20 UTC
my_datetime_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(2023, 12, 13, 10, 15, 20)
)

# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
    name="<schedule-name>", 
    rate=(5, "minutes")
)

# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
    name="<schedule-name>", 
    cron="15 10 ? * 6L 2022-2023"
)

Collegamento del trigger alla pipeline

Per collegare PipelineSchedule alla pipeline, invoca la chiamata put_triggers all’oggetto della pipeline creato con un elenco di trigger. Se ricevi un ARN di risposta, significa che hai creato correttamente la pianificazione nel tuo account ed EventBridge inizia a invocare la pipeline di destinazione all’ora o alla frequenza specificate. Devi specificare un ruolo con le autorizzazioni corrette per collegare i trigger a una pipeline principale. Se non lo fornisci, Pipelines recupera il ruolo predefinito utilizzato per creare la pipeline dal file di configurazione.

L’esempio seguente illustra come collegare una pianificazione a una pipeline.

scheduled_pipeline = Pipeline(
    name="<pipeline-name>",
    steps=[...],
    sagemaker_session=<sagemaker-session>,
)
custom_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=<role>)

Descrizione dei trigger correnti

Per recuperare informazioni sui trigger della pipeline creati, puoi invocare l’API describe_trigger() con il nome del trigger. Questo comando restituisce i dettagli sull’espressione di pianificazione creata, ad esempio l’ora di inizio, lo stato di abilitazione e altre informazioni utili. Il frammento seguente mostra un’invocazione di esempio:

scheduled_pipeline.describe_trigger(name="<schedule-name>")

Pulizia delle risorse del trigger

Prima di eliminare la pipeline, pulisci i trigger esistenti per evitare di perdere risorse del tuo account. Devi eliminare i trigger prima di distruggere la pipeline principale. Puoi eliminare i trigger passando un elenco di nomi di trigger all’API delete_triggers. Il frammento seguente mostra come eliminare i trigger.

pipeline.delete_triggers(trigger_names=["<schedule-name>"])