Monitoraggio delle pipeline mediante CloudWatch metriche - Amazon CloudWatch
Metriche disponibiliDimensioniTipi di erroreTipi di avvisoVisualizzazione delle metricheCreazione di allarmi Le migliori pratiche per le metriche delle CloudWatch pipeline

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitoraggio delle pipeline mediante CloudWatch metriche

CloudWatch pipelines pubblica le metriche su Amazon CloudWatch nel namespace. AWS/Observability Admin Puoi utilizzare queste metriche per monitorare lo stato, le prestazioni e il flusso di dati delle tue pipeline.

Metriche disponibili

Le tabelle seguenti elencano le metriche disponibili per CloudWatch le pipeline.

Nota

Le metriche delle pipeline vengono emesse solo quando il valore è diverso da zero.

Metriche principali

Metrica Description Dimensione Unità

PipelineBytesIn

Volume dei record di log che entrano nella pipeline in byte non compressi

PipelineName

Byte

PipelineBytesInByDataSource

Volume di dati in entrata con suddivisione source/type

PipelineName, DataSource, DataType

Byte

PipelineBytesOut

Volume di dati indirizzati verso la destinazione

PipelineName

Byte

PipelineBytesOutByDataSource

Volume di dati in uscita con suddivisione source/type

PipelineName, DataSource, DataType

Byte

PipelineRecordsIn

Numero di record che entrano nella pipeline

PipelineName

Conteggio

PipelineRecordsInByDataSource

Numero di record in entrata con suddivisione source/type

PipelineName, DataSource, DataType

Conteggio

PipelineRecordsOut

Numero di record in uscita dalla pipeline

PipelineName

Conteggio

PipelineRecordsOutByDataSource

Numero di record in uscita con suddivisione source/type

PipelineName, DataSource, DataType

Conteggio

Metriche relative agli errori e agli avvisi

Metrica Description Dimensione Unità

PipelineErrors

Conteggio aggregato degli errori nella pipeline

PipelineName

Conteggio

PipelineErrorsByErrorType

Conteggi dettagliati degli errori per tipo

PipelineName, ErrorSource, ErrorComponent, ErrorType

Conteggio

PipelineWarnings

Numero di avvisi rilevati

PipelineName

Conteggio

PipelineWarningsByWarningType

Avvertenze dettagliate per tipo

PipelineName, WarningSource, WarningComponent, WarningType

Conteggio

PipelineRecordsUnprocessed

Numero di record che non è stato possibile elaborare

PipelineName, DataSource, DataType

Conteggio

PipelineRecordsDropped

Numero di record eliminati (solo fonti di terze parti)

PipelineName, DataSource, DataType

Conteggio

Dimensioni

CloudWatch le metriche delle pipeline utilizzano le seguenti dimensioni:

PipelineName

Nome della pipeline

DataSource

Fonte dei dati (nome del AWS servizio o fonte di terze parti)

DataType

Tipo di dati oggetto di trattamento

ErrorSource

Origine dell'errore (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Componente in cui si è verificato l'errore (origine, sink, estensione)

ErrorType

Tipo di errore riscontrato

Tipi di errore

Vengono rilevati i seguenti tipi di errore: PipelineErrorsByErrorType

ACCESS_DENIED

Errori relativi alle autorizzazioni

ALL

Il conteggio totale di tutti gli errori sulla pipeline

RESOURCE_NOT_FOUND

La risorsa specificata non esiste

SOURCE_READ_FAILURE

Errore nella lettura dal codice sorgente

PARSE_FAILURE

Errori di analisi dei dati

PROCESSOR_ERRORS

Errori delle operazioni di elaborazione

PAYLOAD_SIZE_EXCEEDED

Limite di dimensione dei dati superato

Tipi di avviso

Il seguente tipo di avviso può verificarsi su una pipeline:

THROTTLED

Indica che il volume di dati inviato ha superato i limiti di velocità esistenti, causando l'interruzione o il ritardo di alcuni punti dati o eventi per proteggere il sistema e garantire la stabilità.

Visualizzazione delle metriche

È possibile visualizzare le metriche CloudWatch delle pipeline utilizzando i seguenti metodi:

Utilizzo della console CloudWatch

  1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/

  2. Nel riquadro di navigazione, scegli Metriche

  3. Scegli lo spazio dei nomi AWS/Observability Admin

  4. Seleziona la dimensione metrica da visualizzare

Usando il AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

Creazione di allarmi

Puoi creare CloudWatch allarmi in base a una qualsiasi di queste metriche. Ecco un esempio di creazione di un allarme per gli errori della pipeline:

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

Le migliori pratiche per le metriche delle CloudWatch pipeline

Monitora il flusso di dati

  • Usa PipelineBytesIn e monitora PipelineBytesOut il volume dei dati

  • Monitora PipelineRecordsIn e PipelineRecordsOut tieni traccia dei conteggi dei record

  • Tieni d'occhio i cambiamenti imprevisti nei modelli di produttività

Tieni traccia degli errori e degli avvisi

  • Crea allarmi per rilevare rapidamente PipelineErrors i problemi

  • Utilizzato PipelineErrorsByErrorType per diagnosticare problemi specifici

  • Monitora PipelineWarnings per identificare tempestivamente potenziali problemi

Configura le soglie appropriate

  • Basa le soglie sui modelli di dati previsti

  • Tieni conto delle normali variazioni nel volume dei dati

  • Considerate i periodi di picco di utilizzo quando impostate le soglie di allarme