Données de journal personnalisées provenant de CloudWatch Logs ou d'un compartiment Amazon S3 - Amazon CloudWatch

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Données de journal personnalisées provenant de CloudWatch Logs ou d'un compartiment Amazon S3

Vous pouvez créer des pipelines pour des sources de données personnalisées en utilisant les approches suivantes :

  1. CloudWatch Journaux personnalisés : définissez des pipelines sur vos groupes de journaux CloudWatch personnalisés existants en fournissant :

    • Un nom de source de données

    • Type de source de données

    Pour plus d'informations sur le nom et le type de source de données, consultez le Guide de l'utilisateur CloudWatch des journaux.

  2. Sources personnalisées S3 — Traitez les journaux arbitraires stockés dans des compartiments S3 en configurant la source du pipeline :

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    Note

    Le processeur CSV ne peut pas être utilisé avec les sources personnalisées S3. Utilisez plutôt le codec CSV dans la source S3.

    Parameters
    notification_type (obligatoire)

    Spécifie le mécanisme de notification. La valeur doit être « sqs » pour utiliser SQS pour les notifications d'événements S3.

    data_source_name

    Identifie la source de données. Il peut s'agir de n'importe quelle valeur de chaîne représentant votre source de données. Exemple : « my_custom_logs ».

    aws.region (obligatoire)

    AWSRégion dans laquelle se trouvent le compartiment S3 et la file d'attente SQS.

    aws.sts_role_arn (obligatoire)

    L'ARN du rôle IAM à assumer pour accéder aux ressources S3 et SQS.

    codec (obligatoire)

    Configuration du codec pour l'analyse des objets S3. Supports csvjson, ndjson codecs.

    compression (facultatif)

    Type de compression des objets S3. Les valeurs valides sont « none », « gzip », « automatic ». La valeur par défaut est « none ».

    sqs.queue_url(obligatoire pour SQS)

    URL complète de la file d'attente SQS qui reçoit les notifications du compartiment S3 lorsque de nouveaux objets sont créés.

    on_error (facultatif)

    Détermine comment gérer les erreurs dans Amazon SQS. Peut avoir la valeur retain_messages ou delete_messages. La valeur par défaut est retain_messages.

Configuration de source personnalisée

Lors de la création d'un pipeline pour des sources personnalisées :

  • Un analyseur doit être le premier processeur du pipeline si la source de données est CloudWatch Logs

  • Vous pouvez spécifier n'importe quel processeur pris en charge pour les pipelines de journaux personnalisés