Programación de ejecuciones de canalizaciones

Puede programar las ejecuciones de Canalizaciones de Amazon SageMaker con Amazon EventBridge. Canalizaciones de Amazon SageMaker se admite como destino en Amazon EventBridge. Esto le permite iniciar la ejecución de su canalización de creación de modelos en función de cualquier evento del bus de eventos. Con EventBridge, puede automatizar las ejecuciones de sus canalizaciones y responder automáticamente a eventos como cambios en el estado del punto de conexión o el trabajo de entrenamiento. Los eventos incluyen la carga de un nuevo archivo en su bucket de Amazon S3, un cambio en el estado de su punto de conexión de Amazon SageMaker AI debido a una deriva y temas relacionados con Amazon Simple Notification Service (SNS).

Las siguientes acciones de Canalizaciones se pueden iniciar automáticamente: 

Para obtener más información sobre la programación de trabajos de SageMaker AI, consulte Automating SageMaker AI with Amazon EventBridge.

Programación de un canalización con Amazon EventBridge

Para iniciar la ejecución de una canalización con eventos de Amazon CloudWatch, debe crear una regla de EventBridge. Al crear una regla para eventos, se especifica una acción objetivo que se llevará a cabo cuando EventBridge reciba un evento que coincida con la regla. Cuando un evento coincide con la regla, EventBridge envía el evento al objetivo especificado y activa la acción definida en la regla.

Los siguientes tutoriales muestran cómo programar la ejecución de una canalización con EventBridge mediante la consola de EventBridge o la AWS CLI. 

Requisitos previos

Creación de una regla de EventBridge mediante la consola de EventBridge

El siguiente procedimiento describe cómo crear una regla de EventBridge mediante la consola de EventBridge. 

La regla ya está en vigor y lista para iniciar las ejecuciones de la canalización.

Creación de una regla de EventBridge con la AWS CLI

El siguiente procedimiento describe cómo crear una regla de EventBridge mediante la AWS CLI.

Programación de una canalización con el SageMaker Python SDK

En las siguientes secciones, se muestra cómo configurar los permisos para acceder a los recursos de EventBridge y crear la programación de sus canalizaciones mediante el SageMaker Python SDK.

Permisos necesarios

Debe tener los permisos necesarios para utilizar el programador de canalizaciones. Realice los siguientes pasos para configurar sus permisos:

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "scheduler.amazonaws.com",
                    "sagemaker.amazonaws.com"
                ]
            },
        "Action": "sts:AssumeRole"
        }
    ]
}

Creación de una programación de canalización

Con el constructor PipelineSchedule, puede programar una canalización para que se ejecute una vez o en un intervalo predeterminado. La programación de canalización debe ser del tipo at, rate o cron. Este conjunto de tipos de programación es una extensión de las opciones de programación de EventBridge. Para obtener más información sobre cómo usar la clase PipelineSchedule, consulte sagemaker.workflow.triggers.PipelineSchedule. En el siguiente ejemplo, se muestra cómo crear cada tipo de programación con PipelineSchedule.

from sagemaker.workflow.triggers import PipelineSchedule

# schedules a pipeline run for 12/13/2023 at time 10:15:20 UTC
my_datetime_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(2023, 12, 13, 10, 15, 20)
)

# schedules a pipeline run every 5 minutes
my_rate_schedule = PipelineSchedule(
    name="<schedule-name>", 
    rate=(5, "minutes")
)

# schedules a pipeline run at 10:15am UTC on the last Friday of each month during the years 2022 to 2023
my_cron_schedule = PipelineSchedule(
    name="<schedule-name>", 
    cron="15 10 ? * 6L 2022-2023"
)

Asociación del disparador a la canalización

Para asociar su PipelineSchedule a su canalización, invoque la llamada a put_triggers en el objeto de canalización que haya creado con una lista de disparadores. Si recibe un ARN de respuesta, habrá creado correctamente la programación en su cuenta y EventBridge empezará a invocar la canalización de destino a la hora o al ritmo especificados. Debe especificar un rol con los permisos correctos para asociar los disparadores a una canalización principal. Si no lo proporciona, Canalizaciones busca el rol predeterminado que se usa para crear la canalización desde el archivo de configuración.

En el siguiente ejemplo, se muestra cómo asociar una programación a una canalización.

scheduled_pipeline = Pipeline(
    name="<pipeline-name>",
    steps=[...],
    sagemaker_session=<sagemaker-session>,
)
custom_schedule = PipelineSchedule(
    name="<schedule-name>", 
    at=datetime(year=2023, month=12, date=25, hour=10, minute=30, second=30)
)
scheduled_pipeline.put_triggers(triggers=[custom_schedule], role_arn=<role>)

Descripción de los disparadores actuales

Para recuperar información sobre los disparadores de canalización que ha creado, puede invocar la API describe_trigger() con el nombre del disparador. Este comando devuelve detalles sobre la expresión de programación creada, como la hora de inicio, el estado de activación y otra información útil. En el siguiente fragmento de código, se muestra un ejemplo de invocación:

scheduled_pipeline.describe_trigger(name="<schedule-name>")

Limpieza de recursos de disparadores

Antes de eliminar su canalización, limpie los disparadores existentes para evitar que se pierdan recursos en su cuenta. Debe eliminar los disparadores antes de destruir la canalización principal. Puede eliminar los disparadores pasando una lista de nombres de disparadores a la API delete_triggers. En el siguiente fragmento, se muestra cómo eliminar los disparadores.

pipeline.delete_triggers(trigger_names=["<schedule-name>"])