Dati di log personalizzati da CloudWatch Logs o da un bucket Amazon S3 - Amazon CloudWatch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Dati di log personalizzati da CloudWatch Logs o da un bucket Amazon S3

Puoi creare pipeline per fonti di dati personalizzate utilizzando i seguenti approcci:

  1. CloudWatch Registri personalizzati: definisci le pipeline sui gruppi di log CloudWatch personalizzati esistenti fornendo:

    • Un nome di origine dati

    • Un tipo di origine dati

    Per ulteriori informazioni sul nome e sul tipo di origine dati, consulta la CloudWatch Logs User Guide.

  2. Sorgenti personalizzate S3: elabora i log arbitrari archiviati nei bucket S3 configurando il codice sorgente per la pipeline:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    Nota

    Il processore CSV non può essere utilizzato con sorgenti personalizzate S3. Utilizza invece il codec CSV nel codice sorgente S3.

    Parameters
    notification_type(richiesto)

    Speciifica il meccanismo di notifica. Deve essere «sqs» per utilizzare SQS per le notifiche degli eventi S3.

    data_source_name

    Identifica la fonte dei dati. Può essere qualsiasi valore di stringa che rappresenta l'origine dei dati. Esempio: «my_custom_logs».

    aws.region(richiesto)

    La AWS regione in cui si trovano il bucket S3 e la coda SQS.

    aws.sts_role_arn(richiesto)

    L'ARN del ruolo IAM da assumere per accedere alle risorse S3 e SQS.

    codec(richiesto)

    Configurazione del codec per l'analisi degli oggetti S3. Supporticsv, codecjson. ndjson

    compression (facoltativo)

    Tipo di compressione degli oggetti S3. I valori validi sono «none», «gzip», «automatic». Il valore predefinito è «none».

    sqs.queue_url(richiesto per SQS)

    L'URL completo della coda SQS che riceve le notifiche del bucket S3 quando vengono creati nuovi oggetti.

    on_error (facoltativo)

    Determina come gestire gli errori in Amazon SQS. Può essere retain_messages o delete_messages. Il valore predefinito è “retain_messages”.

Configurazione del codice sorgente personalizzata

Quando si crea una pipeline per fonti personalizzate:

  • Un parser deve essere il primo processore della pipeline se l'origine dati è Logs CloudWatch

  • È possibile specificare qualsiasi processore supportato per le pipeline di log personalizzate