Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione di sorgenti bucket S3 personalizzate
Con le CloudWatch pipeline, puoi elaborare log arbitrari archiviati in bucket S3.
Prerequisiti
Per utilizzare Amazon S3 come origine per una pipeline, devi prima creare un bucket S3. Per istruzioni, consulta Creazione di un bucket generico nella Guida per l'utente di Amazon S3.
Nota
Se il bucket S3 utilizzato come origine nella pipeline si trova in un AWS account diverso, devi anche abilitare le autorizzazioni di lettura tra account sul bucket. Ciò consente alla pipeline di leggere ed elaborare i dati. Per abilitare le autorizzazioni per più account, consulta la sezione relativa alla concessione delle autorizzazioni per i bucket tra più account nella Guida per l'utente di Amazon S3.
Se i tuoi bucket S3 si trovano in più account, usa una mappa. bucket_owners Per un esempio, vedi Cross-account S3 access
Per configurare l'elaborazione S3-SQS, è inoltre necessario eseguire le seguenti operazioni:
Configura il ruolo della pipeline
A differenza di altri plugin di origine che inviano dati a una pipeline, il plug-in di origine S3 ha un'architettura basata sulla lettura in cui la pipeline estrae i dati dalla sorgente. Pertanto, affinché una pipeline possa leggere da S3, è necessario specificare un ruolo all'interno della configurazione di origine S3 della pipeline che abbia accesso sia al bucket S3 che alla coda Amazon SQS. La pipeline assumerà questo ruolo per leggere i dati dalla coda.
Puoi trovare esempi di autorizzazioni di ruolo nelle policy IAM specifiche di Source. Tieni presente che questo ruolo deve avere una relazione di fiducia con il principio del CloudWatch servizio di pipeline. Puoi trovare un esempio di configurazione della politica di fiducia per il tuo ruolo nella pipeline in Trust relations.
Crea la pipeline
Dopo aver impostato le autorizzazioni, puoi configurare una pipeline in base al tuo caso d'uso di Amazon S3.
Seleziona Crea pipeline nella scheda Pipelines sotto Ingestion nella console. CloudWatch Segui i passaggi della procedura guidata della pipeline e fornisci l'ARN della coda SQS e il ruolo IAM della pipeline richiesto quando richiesto. Facoltativamente, fornisci un nome e un tipo di origine dati da allegare alla destinazione del gruppo di log in Logs. CloudWatch
Assicurati di configurare una politica delle risorse CloudWatch Logs se non è già configurata per il gruppo di log di destinazione, quindi seleziona Crea pipeline nel passaggio Rivedi e crea. In caso di successo, la pipeline verrà creata e i dati inizieranno a fluire entro 5 minuti.
Account multiplo Amazon S3 come fonte
Puoi concedere l'accesso a più account con Amazon S3 in modo che le CloudWatch pipeline possano accedere ai bucket S3 in un altro account come fonte. Per abilitare l'accesso su più account, consulta la sezione relativa alla concessione delle autorizzazioni per i bucket tra più account nella Amazon S3 User Guide. Dopo aver concesso l'accesso, assicurati che il tuo ruolo di pipeline disponga delle autorizzazioni richieste.
Quindi, puoi creare una pipeline utilizzando bucket_owners per abilitare l'accesso tra account a un bucket Amazon S3 come origine.
Configurazione personalizzata del codice sorgente
Quando si crea una pipeline per fonti personalizzate:
-
Un parser deve essere il primo processore nella pipeline
-
È possibile specificare qualsiasi processore supportato per pipeline di log personalizzate
