Supervisión de canalizaciones con métricas de CloudWatch - Amazon CloudWatch

Supervisión de canalizaciones con métricas de CloudWatch

Las canalizaciones de CloudWatch publican métricas en Amazon CloudWatch en el espacio de nombres AWS/Observability Admin. Puede usar estas métricas para supervisar el estado, el rendimiento y el flujo de datos de sus canalizaciones.

Métricas disponibles

En las tablas siguientes se incluyen las métricas disponibles para las canalizaciones de CloudWatch.

nota

Las métricas de las canalizaciones solo se emiten cuando el valor no es cero.

Métricas principales

Métrica Descripción Dimensión Unidad

PipelineBytesIn

Volumen de registros que se envían a la canalización en bytes sin comprimir

PipelineName

Bytes

PipelineBytesInByDataSource

Volumen de datos entrantes con desglose por origen o tipo

PipelineName, DataSource, DataType

Bytes

PipelineBytesOut

Volumen de datos enrutados al destino

PipelineName

Bytes

PipelineBytesOutByDataSource

Volumen de datos salientes con desglose por origen o tipo

PipelineName, DataSource, DataType

Bytes

PipelineRecordsIn

Número de registros que entran en la canalización

PipelineName

Recuento

PipelineRecordsInByDataSource

Número de registros entrantes desglosados por origen o tipo

PipelineName, DataSource, DataType

Recuento

PipelineRecordsOut

Número de registros que salen de la canalización

PipelineName

Recuento

PipelineRecordsOutByDataSource

Número de registros salientes desglosados por origen o tipo

PipelineName, DataSource, DataType

Recuento

Métricas de errores y advertencias

Métrica Descripción Dimensión Unidad

PipelineErrors

Recuento agregado de errores en la canalización

PipelineName

Recuento

PipelineErrorsByErrorType

Recuentos de errores detallados por tipo

PipelineName, ErrorSource, ErrorComponent, ErrorType

Recuento

PipelineWarnings

Número de advertencias encontradas

PipelineName

Recuento

PipelineWarningsByWarningType

Advertencias detalladas por tipo

PipelineName, WarningSource, WarningComponent, WarningType

Recuento

PipelineRecordsUnprocessed

Número de registros que no se pudieron procesar

PipelineName, DataSource, DataType

Recuento

PipelineRecordsDropped

Número de registros descartados (solo orígenes de terceros)

PipelineName, DataSource, DataType

Recuento

Dimensiones

Las métricas de canalizaciones de CloudWatch utilizan las siguientes dimensiones:

PipelineName

Nombre de la canalización

DataSource

Origen de los datos (nombre del servicio de AWS u origen de terceros)

DataType

Tipo de datos que se procesan

ErrorSource

Origen del error (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Componente en el que se produjo el error (origen, receptor, extensión)

ErrorType

Tipo de error encontrado

Tipos de error

Se hace un seguimiento de los siguientes tipos de errores en PipelineErrorsByErrorType:

ACCESS_DENIED

Errores relacionados con los permisos

ALL

El recuento total de todos los errores de la canalización

RESOURCE_NOT_FOUND

El recurso especificado no existe

SOURCE_READ_FAILURE

Errores de lectura del origen

PARSE_FAILURE

Errores de análisis de datos

PROCESSOR_ERRORS

Errores de operación de procesamiento

PAYLOAD_SIZE_EXCEEDED

Límite de tamaño de datos superados

Tipos de advertencia

El siguiente tipo de advertencia puede aparecer en una canalización:

THROTTLED

Indica que el volumen de datos que se envía ha superado los límites de frecuencia existentes, lo que hace que algunos puntos de datos o eventos se descarten o se retrasen para proteger el sistema y garantizar la estabilidad.

Visualización de métricas

Puede utilizar los métodos siguientes para ver las métricas de canalizaciones de CloudWatch:

Uso de la consola de CloudWatch

  1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/

  2. En el panel de navegación, elija Métricas.

  3. Elija el espacio de nombres Administrador de AWS/Observabilidad.

  4. Seleccione la dimensión de la métrica que desea ver.

Uso de AWS CLI

aws cloudwatch get-metric-statistics \ --namespace "AWS/Observability Admin" \ --metric-name "PipelineBytesIn" \ --dimensions Name=PipelineName,Value=my-pipeline \ --start-time "2025-10-29T00:00:00" \ --end-time "2025-10-29T23:59:59" \ --period 300 \ --statistics Sum

Creación de alarmas

Puede crear alarmas de CloudWatch en función de estas métricas. A continuación se muestra un ejemplo de cómo crear una alarma para errores de canalización:

aws cloudwatch put-metric-alarm \ --alarm-name "HighPipelineErrors" \ --alarm-description "Alert on high error rate" \ --metric-name "PipelineErrors" \ --namespace "AWS/Observability Admin" \ --dimensions Name=PipelineName,Value=my-pipeline \ --period 300 \ --evaluation-periods 2 \ --threshold 10 \ --comparison-operator GreaterThanThreshold \ --statistic Sum \ --alarm-actions arn:aws:sns:region:account-id:topic-name

Prácticas recomendadas para métricas de canalizaciones de CloudWatch

Supervisión del flujo de datos

  • Utilice PipelineBytesIn y PipelineBytesOut para hacer un seguimiento del volumen de datos.

  • Supervise PipelineRecordsIn y PipelineRecordsOut para hacer un seguimiento de los registros de recuentos.

  • Compruebe si hay cambios inesperados en los patrones de rendimiento.

Seguimiento de errores y advertencias

  • Cree alarmas para que PipelineErrors detecte problemas rápidamente.

  • Use PipelineErrorsByErrorType para diagnosticar problemas específicos.

  • Supervise PipelineWarnings para identificar posibles problemas de forma anticipada.

Configuración de umbrales apropiados

  • Base los umbrales en los patrones de datos esperados.

  • Tenga en cuenta las variaciones normales en el volumen de datos.

  • Tenga en cuenta los periodos de uso máximo al establecer los umbrales de alarma.