Surveillance des pipelines à l'aide de CloudWatch métriques - Amazon CloudWatch
Métriques disponiblesDimensionsTypes d’erreursTypes d'avertissementAffichage des métriques Création d’alarmesBonnes pratiques en matière de mesures relatives aux CloudWatch pipelines

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance des pipelines à l'aide de CloudWatch métriques

CloudWatch pipelines publie des métriques sur Amazon CloudWatch dans l'espace de AWS/Observability Admin noms. Vous pouvez utiliser ces indicateurs pour surveiller l'état, les performances et le flux de données de vos pipelines.

Métriques disponibles

Les tableaux suivants répertorient les mesures disponibles pour les CloudWatch pipelines.

Note

Les métriques des pipelines ne sont émises que lorsque la valeur est différente de zéro.

Indicateurs de base

Métrique Description Dimension Unit

PipelineBytesIn

Volume d'enregistrements de journal entrant dans le pipeline en octets non compressés

PipelineName

Octets

PipelineBytesInByDataSource

Volume de données entrantes avec source/type ventilation

PipelineName, DataSource, DataType

Octets

PipelineBytesOut

Volume de données acheminé vers la destination

PipelineName

Octets

PipelineBytesOutByDataSource

Volume de données sortantes avec source/type ventilation

PipelineName, DataSource, DataType

Octets

PipelineRecordsIn

Nombre d'enregistrements entrant dans le pipeline

PipelineName

Nombre

PipelineRecordsInByDataSource

Nombre d'enregistrements entrants avec source/type ventilation

PipelineName, DataSource, DataType

Nombre

PipelineRecordsOut

Nombre d'enregistrements sortant du pipeline

PipelineName

Nombre

PipelineRecordsOutByDataSource

Nombre d'enregistrements sortants avec source/type ventilation

PipelineName, DataSource, DataType

Nombre

Mesures d'erreur et d'avertissement

Métrique Description Dimension Unit

PipelineErrors

Nombre total d'erreurs dans le pipeline

PipelineName

Nombre

PipelineErrorsByErrorType

Nombre d'erreurs détaillé par type

PipelineName, ErrorSource, ErrorComponent, ErrorType

Nombre

PipelineWarnings

Nombre d'avertissements rencontrés

PipelineName

Nombre

PipelineWarningsByWarningType

Avertissements détaillés par type

PipelineName, WarningSource, WarningComponent, WarningType

Nombre

PipelineRecordsUnprocessed

Nombre d'enregistrements qui n'ont pas pu être traités

PipelineName, DataSource, DataType

Nombre

PipelineRecordsDropped

Nombre d'enregistrements supprimés (sources tierces uniquement)

PipelineName, DataSource, DataType

Nombre

Dimensions

CloudWatch les métriques des pipelines utilisent les dimensions suivantes :

PipelineName

Nom du pipeline

DataSource

Source des données (nom du AWS service ou source tierce)

DataType

Type de données en cours de traitement

ErrorSource

Origine de l'erreur (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Composant dans lequel l'erreur s'est produite (source, récepteur, extension)

ErrorType

Type d'erreur rencontré

Types d’erreurs

Les types d'erreurs suivants sont suivis dans PipelineErrorsByErrorType :

ACCESS_DENIED

Défaillances liées aux autorisations

ALL

Le nombre total de toutes les erreurs sur le pipeline

RESOURCE_NOT_FOUND

La ressource spécifiée n'existe pas

SOURCE_READ_FAILURE

Défaillances lors de la lecture à partir

PARSE_FAILURE

Erreurs d'analyse des données

PROCESSOR_ERRORS

Défaillances des opérations de traitement

PAYLOAD_SIZE_EXCEEDED

Limite de taille des données dépassée

Types d'avertissement

Le type d'avertissement suivant peut se produire sur un pipeline :

THROTTLED

Indique que le volume de données envoyé a dépassé les limites de débit existantes, ce qui a entraîné la suppression ou le report de certains points de données ou événements afin de protéger le système et de garantir sa stabilité.

Affichage des métriques

Vous pouvez consulter les métriques des CloudWatch pipelines à l'aide des méthodes suivantes :

Utilisation de la CloudWatch console

  1. Ouvrez la CloudWatch console à https://console.aws.amazon.com/cloudwatch/

  2. Dans le volet de navigation, sélectionnez Metrics

  3. Choisissez l'espace de noms AWS/Observability Admin

  4. Sélectionnez la dimension métrique à afficher

À l'aide du AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

Création d’alarmes

Vous pouvez créer des CloudWatch alarmes en fonction de n'importe laquelle de ces mesures. Voici un exemple de création d'une alarme en cas d'erreur de pipeline :

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

Bonnes pratiques en matière de mesures relatives aux CloudWatch pipelines

Surveiller le flux de données

  • Utiliser PipelineBytesIn et PipelineBytesOut suivre le volume de données

  • Surveiller PipelineRecordsIn et PipelineRecordsOut suivre le nombre de records

  • Surveillez les changements inattendus dans les modèles de débit

Suivez les erreurs et les avertissements

  • Créez des alarmes PipelineErrors pour détecter rapidement les problèmes

  • PipelineErrorsByErrorTypeÀ utiliser pour diagnostiquer des problèmes spécifiques

  • Surveillez PipelineWarnings pour identifier les problèmes potentiels à un stade précoce

Configurer les seuils appropriés

  • Basez les seuils sur les modèles de données que vous attendez

  • Tenez compte des variations normales du volume de données

  • Tenez compte des périodes de pointe lors de la définition des seuils d'alarme