Creación de una prueba de sombra - Amazon SageMaker AI
Requisitos previosIntroducción de detalles de la prueba de sombra Introducción de pruebas de sombra

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Creación de una prueba de sombra

Puede crear una prueba de sombra para comparar el rendimiento de una variante de sombra con el de una variante de producción. Puede ejecutar la prueba en un punto de conexión existente que atienda solicitudes de inferencia o puede crear un nuevo punto de conexión en el que ejecutar la prueba.

Para crear pruebas de sombra, debe especificar lo siguiente:

  • Una variante de producción que recibe y responde al 100 % las solicitudes de inferencia entrantes.

  • Una variante de sombra que recibe un porcentaje de las solicitudes entrantes, replicadas desde la variante de producción, pero que no devuelve ninguna respuesta.

En cada variante, puede usar SageMaker AI para controlar el modelo, el tipo de instancia y el número de instancias. Puede configurar el porcentaje de solicitudes entrantes, conocido como porcentaje de muestreo de tráfico, que desea que se replique en la variante de sombra. SageMaker AI administra la replicación de las solicitudes en la variante de sombra, y puede modificar el porcentaje de muestreo de tráfico cuando la prueba esté programada o en ejecución. Si lo desea, también puede activar la captura de datos para registrar las solicitudes y respuestas de las variantes de producción y de sombra.

nota

SageMaker AI admite una variante de sombra por cada punto de conexión como máximo. Para un punto de conexión con una variante de sombra, puede haber un máximo de una variante de producción.

Puede programar la prueba para que comience en cualquier momento y continuar durante un tiempo determinado. El valor predeterminado es de siete días y el máximo es de 30 días. Una vez finalizada la prueba, el punto de conexión vuelve al estado en el que se encontraba antes de comenzar la prueba. Esto garantiza que no tenga que limpiar los recursos manualmente una vez finalizada la prueba.

Puede supervisar una prueba que se esté ejecutando a través de un panel de la consola de SageMaker AI. El panel proporciona una comparación paralela de las métricas de invocación y de instancia entre las variantes de producción y de sombra, además de una vista tabular con las estadísticas de métricas relevantes. Este panel también está disponible para las pruebas completadas. Una vez que haya revisado las métricas, puede elegir entre promocionar la variante de sombra para convertirla en la nueva variante de producción o conservar la variante de producción existente. Una vez que promocione la variante de sombra, esta responde a todas las solicitudes entrantes. Para obtener más información, consulte Promover una variante de sombra.

En el siguiente procedimiento se describe cómo crear una prueba de sombra a través de la consola de SageMaker AI. Existen variaciones en el flujo de trabajo en función de si desea utilizar un punto de conexión existente o crear uno nuevo para la prueba de sombra.

Requisitos previos

Antes de crear una prueba de sombra con la consola de SageMaker AI, debe tener un modelo de SageMaker AI listo para su uso. Para obtener más información sobre cómo crear un modelo de SageMaker AI, consulte Implementación de modelos para inferencia en tiempo real.

Puede comenzar con las pruebas de sombra con un punto de conexión existente con una variante de producción y una variante de sombra, un punto de conexión existente con solo una variante de producción o solo con los modelos de SageMaker AI que desee comparar. Las pruebas de sombra permiten crear un punto de conexión y añadir variantes antes de que comience la prueba.

nota

Determinadas características de los puntos de conexión pueden hacer que el punto de conexión no sea compatible con las pruebas de sombra. Si el punto de conexión utiliza alguna de las siguientes características, no podrá utilizar pruebas de sombra en el punto de conexión, por lo que la solicitud de configurar pruebas de sombra provocará errores de validación.

  • Inferencia sin servidor

  • Inferencia asíncrona

  • Contenedores de Marketplace

  • Puntos de conexión con varios contenedores

  • Puntos de conexión multimodelo

  • Puntos de conexión que utilizan instancias Inf1 (basadas en inferencia)

Introducción de detalles de la prueba de sombra

Para empezar a crear una prueba de sombra, complete la página Ingresar los detalles de la prueba de sombra de la siguiente manera:

  1. Abra la consola de SageMaker AI.

  2. En el panel de navegación de la izquierda, elija Inferencia y luego Pruebas de sombra.

  3. Seleccione Crear prueba de sombra.

  4. En Nombre, escriba un nombre para la prueba.

  5. (Opcional) En Descripción, introduzca una descripción para la prueba.

  6. (Opcional) Especifique Etiquetas mediante los pares de Clave y Valor.

  7. Elija Siguiente.

Introducción de pruebas de sombra

Tras completar la página Ingresar los detalles de la prueba de sombra, complete la página Ingresar la configuración de la prueba de sombra. Si ya tiene un punto de conexión de inferencia de SageMaker AI y una variante de producción, siga el flujo de trabajo Usar un punto de conexión existente. Si aún no dispone de un punto de conexión, siga el flujo de trabajo Crear un nuevo punto de conexión.

Use an existing endpoint

Si desea utilizar un punto de conexión existente para la prueba, complete la página Ingresar la configuración de la prueba de sombra de la siguiente manera:

  1. Elija un rol que tenga asociada la política de IAM AmazonSageMakerFullAccess.

  2. Seleccione Usar un punto de conexión existente y luego elija uno de los puntos de conexión disponibles.

  3. (Opcional) Para cifrar el volumen de almacenamiento del punto de conexión, elija una clave de KMS existente o seleccione Especifique el ARN de una clave de KMS en la lista desplegable en Clave de cifrado. Si elige la segunda opción, aparecerá un campo para introducir el ARN de la clave de KMS. Introduzca el ARN de la clave de KMS en dicho campo.

  4. Si tiene varias variantes de producción detrás de ese punto de conexión, elimine las que no desee usar para la prueba. Para eliminar una variante del modelo, selecciónela y, a continuación, elija Eliminar.

  5. Si aún no tiene una variante de sombra, añádala. Para añadir una variante de sombra, haga lo siguiente:

    1. Elija Agregar.

    2. Elija Variante de sombra.

    3. En el cuadro de diálogo Agregar modelo, elija el modelo que desea utilizar para la variante de sombra.

    4. Seleccione Save.

  6. (Opcional) En el paso anterior se añade la variante de sombra con la configuración predeterminada. Para modificar esta configuración, seleccione la variante de sombra y elija Editar. Aparecerá el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo completar este cuadro de diálogo, consulte Edición de una prueba de sombra.

  7. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione el cuadro situado en Duración. Aparecerá un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en los campos Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) En los campos Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

    4. Seleccione Aplicar.

    La duración mínima es de una hora y la máxima es de 30 días.

  8. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia del punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  9. Seleccione Crear prueba de sombra.

Create a new endpoint

Si no tiene un punto de conexión existente, o desea crear uno nuevo para la prueba, complete la página Ingresar la configuración de la prueba de sombra de la siguiente manera:

  1. Elija un rol que tenga asociada la política de IAM AmazonSageMakerFullAccess.

  2. Seleccione Crear un nuevo punto de conexión.

  3. En Nombre, escriba un nombre para el punto de conexión.

  4. Añada una variante de producción y una variante de sombra al punto de conexión:

    • Para añadir una variante de producción, seleccione Agregar y luego Variante de producción. En el cuadro de diálogo Agregar modelo, elija el modelo que desee utilizar para la variante de producción y, a continuación, seleccione Guardar.

    • Para añadir una variante de sombra, seleccione Agregar y luego Variante de sombra. En el cuadro de diálogo Agregar modelo, elija el modelo que desee utilizar para la variante de sombra y, a continuación, seleccione Guardar.

  5. (Opcional) En el paso anterior se añade la variante de sombra con la configuración predeterminada. Para modificar esta configuración, seleccione la variante de sombra y elija Editar. Aparecerá el cuadro de diálogo Editar variante de sombra. Para obtener más información sobre cómo completar este cuadro de diálogo, consulte Edición de una prueba de sombra.

  6. En la sección Programación, introduzca la duración de la prueba de la siguiente manera:

    1. Seleccione el cuadro situado en Duración. Aparecerá un calendario emergente.

    2. Seleccione las fechas de inicio y finalización en el calendario o introduzca las fechas de inicio y finalización en Fecha de inicio y Fecha de finalización, respectivamente.

    3. (Opcional) En Hora de inicio y Hora de finalización, introduzca las horas de inicio y finalización, respectivamente, en el formato de 24 horas.

    4. Seleccione Aplicar.

    La duración mínima es de una hora y la máxima es de 30 días.

  7. (Opcional) Active la opción Habilitar captura de datos para guardar la información de solicitudes y respuestas de inferencia del punto de conexión en un bucket de Amazon S3 y, a continuación, introduzca la ubicación del bucket de Amazon S3.

  8. Seleccione Crear prueba de sombra.

Tras completar los procedimientos anteriores, debería tener una prueba programada para que comience en la fecha y hora de inicio especificadas. Puede ver el progreso de la prueba en un panel. Para obtener más información sobre cómo ver la prueba y las acciones que puede realizar, consulte Cómo ver, supervisar y editar las pruebas de sombra.