Benutzerdefinierte Protokolldaten aus CloudWatch Logs oder einem Amazon S3 S3-Bucket - Amazon CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Benutzerdefinierte Protokolldaten aus CloudWatch Logs oder einem Amazon S3 S3-Bucket

Sie können Pipelines für benutzerdefinierte Datenquellen mit den folgenden Ansätzen erstellen:

  1. CloudWatch Benutzerdefinierte Protokolle — Definieren Sie Pipelines für Ihre vorhandenen CloudWatch benutzerdefinierten Protokollgruppen, indem Sie Folgendes bereitstellen:

    • Ein Datenquellenname

    • Ein Datenquellentyp

    Weitere Informationen zu Name und Typ der Datenquelle finden Sie im CloudWatch Logs-Benutzerhandbuch.

  2. Benutzerdefinierte S3-Quellen — Verarbeiten Sie beliebige Logs, die in S3-Buckets gespeichert sind, indem Sie die Quelle für die Pipeline konfigurieren:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    Anmerkung

    Der CSV-Prozessor kann nicht mit benutzerdefinierten S3-Quellen verwendet werden. Verwenden Sie stattdessen den CSV-Codec in der S3-Quelle.

    Parameters
    notification_type (Erforderlich)

    Gibt den Benachrichtigungsmechanismus an. Muss „sqs“ sein, um SQS für S3-Ereignisbenachrichtigungen zu verwenden.

    data_source_name

    Identifiziert die Datenquelle. Dies kann ein beliebiger Zeichenfolgenwert sein, der Ihre Datenquelle darstellt. Beispiel: „my_custom_logs“.

    aws.region (Erforderlich)

    Die AWS Region, in der sich der S3-Bucket und die SQS-Warteschlange befinden.

    aws.sts_role_arn (Erforderlich)

    Der ARN der IAM-Rolle, die für den Zugriff auf S3- und SQS-Ressourcen übernommen werden soll.

    codec (Erforderlich)

    Codec-Konfiguration für das Parsen von S3-Objekten. Unterstütztcsv, json Codecsndjson.

    compression (optional)

    Komprimierungstyp der S3-Objekte. Gültige Werte sind „none“, „gzip“, „automatic“. Die Standardeinstellung ist „none“.

    sqs.queue_url(für SQS erforderlich)

    Die vollständige URL der SQS-Warteschlange, die S3-Bucket-Benachrichtigungen empfängt, wenn neue Objekte erstellt werden.

    on_error (optional)

    Legt fest, wie Fehler in Amazon SQS behandelt werden. Kann retain_messages oder delete_messages sein. Der Standardwert ist retain_messages.

Benutzerdefinierte Quellkonfiguration

Beim Erstellen einer Pipeline für benutzerdefinierte Quellen:

  • Ein Parser muss der erste Prozessor in der Pipeline sein, wenn es sich bei der Datenquelle um Logs handelt CloudWatch

  • Sie können jeden unterstützten Prozessor für benutzerdefinierte Protokoll-Pipelines angeben