Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Alarmas y registros para realizar un seguimiento de las métricas de los puntos de conexión asíncronos
Puede supervisar SageMaker AI mediante Amazon CloudWatch, que recopila y procesa los datos sin procesar y los convierte en métricas legibles y casi en tiempo real. Con Amazon CloudWatch, puede acceder a información histórica y disponer de una mejor perspectiva sobre el rendimiento de su aplicación web o servicio. Para obtener más información sobre Amazon CloudWatch, consulte ¿Qué es Amazon CloudWatch?
Monitoreo con CloudWatch
Abajo, encontrará una lista completa de las métricas para puntos de conexión asíncronos, que se encuentran en el espacio de nombres AWS/SageMaker. Las métricas que no estén en esta lista no se publican si el punto de conexión está habilitado para la inferencia asincrónica. Estas son algunas de esas métricas:
OverheadLatency
Invocations
InvocationsPerInstance
Métricas de puntos de conexión comunes
Estas métricas son las mismas que las que se publican actualmente para los puntos de conexión en tiempo real. Para obtener más información sobre otras métricas de Amazon CloudWatch, consulte Monitor SageMaker AI with Amazon CloudWatch.
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
El número de solicitudes donde el modelo devolvió un código de respuesta HTTP 4xx. Para cada respuesta 4xx, se envía 1; de lo contrario, se envía 0. |
Unidades: ninguna Estadísticas válidas: Average, Sum |
|
El número de solicitudes InvokeEndpoint donde el modelo devolvió un código de respuesta HTTP 5xx. Para cada respuesta 5xx, se envía 1; de lo contrario, se envía 0. |
Unidades: ninguna Estadísticas válidas: Average, Sum |
|
El intervalo de tiempo que tarda un modelo en responder como se muestra en SageMaker AI. Este intervalo incluye el tiempo de comunicación local empleado en el envío de la solicitud y la recuperación de la respuesta del contenedor de un modelo, así como el tiempo que se tarda en completar la inferencia en el contenedor. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
Métricas de puntos de conexión de inferencia asíncrona
Estas métricas se publican para los puntos de conexión habilitados para la inferencia asíncrona. Las métricas siguientes se publican con una dimensión de EndpointName:
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
El número de elementos en la cola de un punto de conexión que se están procesando actualmente o que aún no se están procesando. |
Unidades: recuento Estadísticas válidas: Max, Min, Average. |
|
El número de elementos de la cola dividido por el número de instancias detrás de un punto de conexión. Esta métrica se usa principalmente para configurar el escalado automático de la aplicación para un punto de conexión con capacidad asíncrona. |
Unidades: recuento Estadísticas válidas: Max, Min, Average. |
|
Antigüedad de la solicitud más antigua de la cola. |
Unidades: segundos Estadísticas válidas: Max, Min, Average. |
|
El valor de esta métrica es |
Unidades: recuento Estadísticas válidas: Average. |
Las métricas siguientes se publican con las dimensiones de EndpointName y VariantName:
| Nombre de métrica | Descripción | Unidad/estadísticas |
|---|---|---|
|
Cuando se produce un error de inferencia debido a un problema al descargar la solicitud de Amazon S3. |
Unidades: recuento Estadísticas válidas: Sum |
|
Cuando se produce un error de inferencia debido a un problema al cargar la respuesta a Amazon S3. |
Unidades: recuento Estadísticas válidas: Sum |
|
Cuando se produce un problema al publicar las notificaciones. |
Unidades: recuento Estadísticas válidas: Sum |
|
Tiempo total para descargar la carga de solicitud. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
Tiempo total para cargar la carga de la respuesta. |
Unidades: microsegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
Número de solicitudes en la cola que fallan debido a que han alcanzado el TTL de la solicitud especificada. |
Unidades: recuento Estadísticas válidas: Sum |
|
Si se produce un error en una invocación por cualquier motivo. |
Unidades: recuento Estadísticas válidas: Sum |
|
Número de invocaciones asíncronas procesadas por el punto de conexión. |
Unidades: recuento Estadísticas válidas: Sum |
|
Tiempo total durante el que la solicitud ha estado en cola antes de procesarse. Esto no incluye el tiempo de procesamiento real (es decir, el tiempo de descarga, el tiempo de carga o la latencia del modelo). |
Unidades: milisegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
|
Hora en la que SageMaker AI recibió la solicitud de inferencia hasta la hora en la que la solicitud terminó de procesarse. Esto incluye el tiempo para tareas pendientes y el tiempo necesario para cargar y enviar las notificaciones de respuesta que pueda haber. |
Unidades: milisegundos Estadísticas válidas: Average, Sum, Min, Max, Sample Count. |
La inferencia asíncrona de Amazon SageMaker también incluye métricas en el ámbito del host. Para obtener información sobre las métricas en el ámbito del host, consulte SageMaker AI Jobs and Endpoint Metrics.
Registros
Además de los registros del contenedor de modelo que se publican en Amazon CloudWatch, en su cuenta, obtendrá también un nuevo registro de plataforma para rastrear y depurar las solicitudes de inferencia.
Los nuevos registros se publican en el grupo de registro del punto de conexión:
/aws/sagemaker/Endpoints/[EndpointName]
El nombre del flujo de registro consta de lo siguiente:
[production-variant-name]/[instance-id]/data-log.
Las líneas de registro contienen el identificador de inferencia de la solicitud para que los errores se puedan asignar fácilmente a una solicitud concreta.
