Überwachung von Pipelines mithilfe von Metriken CloudWatch - Amazon CloudWatch
Verfügbare MetrikenDimensionenArten von FehlernArten von WarnungenAnzeigen von MetrikenErstellen von -AlarmenBewährte Methoden für CloudWatch Pipeline-Metriken

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung von Pipelines mithilfe von Metriken CloudWatch

CloudWatch Pipelines veröffentlicht Metriken für Amazon CloudWatch im AWS/Observability Admin Namespace. Sie können diese Metriken verwenden, um den Zustand, die Leistung und den Datenfluss Ihrer Pipelines zu überwachen.

Verfügbare Metriken

In den folgenden Tabellen sind die verfügbaren Metriken für CloudWatch Pipelines aufgeführt.

Anmerkung

Pipelines-Metriken werden nur ausgegeben, wenn der Wert ungleich Null ist.

Kernmetriken

Metrik Description Dimension Einheit

PipelineBytesIn

Volumen der Protokolldatensätze, die in unkomprimierte Byte in die Pipeline aufgenommen werden

PipelineName

Bytes

PipelineBytesInByDataSource

Volumen der eingehenden Daten mit Aufschlüsselung source/type

PipelineName, DataSource, DataType

Bytes

PipelineBytesOut

Volumen der an das Ziel weitergeleiteten Daten

PipelineName

Bytes

PipelineBytesOutByDataSource

Volumen der ausgehenden Daten mit source/type Aufschlüsselung

PipelineName, DataSource, DataType

Bytes

PipelineRecordsIn

Anzahl der Datensätze, die in die Pipeline gelangen

PipelineName

Anzahl

PipelineRecordsInByDataSource

Anzahl der eingehenden Datensätze mit source/type Aufschlüsselung

PipelineName, DataSource, DataType

Anzahl

PipelineRecordsOut

Anzahl der Datensätze, die die Pipeline verlassen

PipelineName

Anzahl

PipelineRecordsOutByDataSource

Anzahl der ausgehenden Datensätze mit source/type Aufschlüsselung

PipelineName, DataSource, DataType

Anzahl

Metriken für Fehler und Warnungen

Metrik Description Dimension Einheit

PipelineErrors

Gesamtzahl der Fehler in der Pipeline

PipelineName

Anzahl

PipelineErrorsByErrorType

Detaillierte Fehlerzählungen nach Typ

PipelineName, ErrorSource, ErrorComponent, ErrorType

Anzahl

PipelineWarnings

Anzahl der aufgetretenen Warnungen

PipelineName

Anzahl

PipelineWarningsByWarningType

Detaillierte Warnungen nach Typ

PipelineName, WarningSource, WarningComponent, WarningType

Anzahl

PipelineRecordsUnprocessed

Anzahl der Datensätze, die nicht verarbeitet werden konnten

PipelineName, DataSource, DataType

Anzahl

PipelineRecordsDropped

Anzahl der gelöschten Datensätze (nur Quellen von Drittanbietern)

PipelineName, DataSource, DataType

Anzahl

Dimensionen

CloudWatch Pipelines-Metriken verwenden die folgenden Dimensionen:

PipelineName

Name der Pipeline

DataSource

Quelle der Daten (AWS Dienstname oder Quelle eines Drittanbieters)

DataType

Art der verarbeiteten Daten

ErrorSource

Ursprung des Fehlers (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Komponente, bei der der Fehler aufgetreten ist (Quelle, Senke, Erweiterung)

ErrorType

Art des aufgetretenen Fehlers

Arten von Fehlern

Die folgenden Fehlertypen werden in nachverfolgtPipelineErrorsByErrorType:

ACCESS_DENIED

Fehler im Zusammenhang mit Berechtigungen

ALL

Die Gesamtzahl aller Fehler in der Pipeline

RESOURCE_NOT_FOUND

Die angegebene Ressource ist nicht vorhanden

SOURCE_READ_FAILURE

Fehler beim Lesen aus der Quelle

PARSE_FAILURE

Fehler beim Analysieren von Daten

PROCESSOR_ERRORS

Fehler bei der Verarbeitung

PAYLOAD_SIZE_EXCEEDED

Die Datengrößenbeschränkung wurde überschritten

Arten von Warnungen

Der folgende Warnungstyp kann in einer Pipeline auftreten:

THROTTLED

Zeigt an, dass das gesendete Datenvolumen die bestehenden Ratenlimits überschritten hat, wodurch einige Datenpunkte oder Ereignisse gelöscht oder verzögert wurden, um das System zu schützen und die Stabilität zu gewährleisten.

Anzeigen von Metriken

Sie können die Metriken von CloudWatch Pipelines mit den folgenden Methoden anzeigen:

Mithilfe der Konsole CloudWatch

  1. Öffnen Sie die CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/

  2. Wählen Sie im Navigationsbereich Metrics

  3. Wählen Sie den Namespace AWS/Observability Admin

  4. Wählen Sie die Metrikdimension aus, die Sie anzeigen möchten

Unter Verwendung der AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

Erstellen von -Alarmen

Sie können CloudWatch Alarme auf der Grundlage jeder dieser Metriken erstellen. Hier ist ein Beispiel für die Erstellung eines Alarms für Pipeline-Fehler:

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

Bewährte Methoden für CloudWatch Pipeline-Metriken

Überwachen Sie den Datenfluss

  • Verwenden Sie PipelineBytesIn undPipelineBytesOut, um das Datenvolumen zu verfolgen

  • Überwachung PipelineRecordsIn und PipelineRecordsOut Nachverfolgung von Rekordzahlen

  • Achten Sie auf unerwartete Änderungen der Durchsatzmuster

Verfolgen Sie Fehler und Warnungen

  • Erstellen Sie AlarmePipelineErrors, um Probleme schnell zu erkennen

  • Wird verwendetPipelineErrorsByErrorType, um bestimmte Probleme zu diagnostizieren

  • Überwachen SiePipelineWarnings, um potenzielle Probleme frühzeitig zu erkennen

Konfigurieren Sie die entsprechenden Schwellenwerte

  • Richten Sie die Schwellenwerte auf Ihren erwarteten Datenmustern ab

  • Berücksichtigen Sie normale Schwankungen des Datenvolumens

  • Berücksichtigen Sie bei der Festlegung von Alarmschwellen die Spitzennutzungszeiten