Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Accedi ai log con S3 Tables Integration

L'integrazione con S3 Tables CloudWatch consente di accedere ai dati di log inseriti CloudWatch utilizzando motori di analisi come Amazon Athena, Amazon Redshift e strumenti di terze parti che supportano la connessione a negozi compatibili con Apache Iceberg. Questa integrazione ti consente di eseguire un'analisi completa dei log utilizzando strumenti di tua preferenza e di correlare i dati in Logs con quelli non dati. CloudWatch CloudWatch

Comprendere l'integrazione delle tabelle S3

Amazon S3 Tables Integration è una soluzione completamente gestita che rende disponibili i log in CloudWatch Logs come tabelle Amazon S3 gestite. Con questa integrazione, oltre alle funzionalità di Logs, ottieni una maggiore flessibilità nel modo in cui analizzi i log. CloudWatch

L'integrazione funziona creando un bucket di tabelle Amazon S3 gestito (aws-cloudwatch) e associando fonti di log specifiche a Amazon S3 Tables in base al nome e al tipo di origine dati (che possono essere gestiti dalla scheda Gestione dei log > Sorgenti dati in Logs Console). CloudWatch Una volta associati, CloudWatch i dati di Logs diventano accessibili tramite Amazon S3 Tables utilizzando il formato Apache Iceberg. Questo formato offre a vari motori di analisi un modo standardizzato per interrogare i dati in modo efficiente.

Componenti principali

Flusso di dati verso le tabelle S3

Comprendere come fluiscono i dati tra CloudWatch Logs e S3 Tables ti aiuta a pianificare l'integrazione e gestire i dati di registro in modo efficace.

Quando crei un'associazione, CloudWatch Logs invia automaticamente nuovi eventi di registro che corrispondono al nome e al tipo dell'origine dati associata a un bucket di tabelle CloudWatch S3 gestito. Puoi trovare questi eventi nello spazio dei nomi logs sotto la tabella corrispondente per quell'origine dati. I processi di integrazione registrano solo gli eventi aggiunti dopo la creazione dell'associazione e non riempiono i log precedenti alla creazione dell'associazione.

La conservazione dei dati nel bucket di tabella S3 corrisponde alla politica di conservazione impostata per il gruppo di log. Ad esempio, se imposti un gruppo di log sulla conservazione di 1 giorno, CloudWatch Logs rimuove i dati sia dai CloudWatch registri che dalla tabella S3 dopo un giorno. Quando elimini un gruppo di log o un flusso di log, CloudWatch Logs rimuove anche i dati dal bucket di tabella S3.

Quando utilizzare S3 Tables Integration

Prendi in considerazione l'utilizzo dell'integrazione di S3 Tables per correlare i dati di log con altri CloudWatch dati esterni o non, o se preferisci utilizzare altri strumenti di analisi come Amazon Athena per eseguire analisi CloudWatch sui dati di Logs. Usa questa integrazione quando hai bisogno di funzionalità che vanno oltre a quelle disponibili in Logs. CloudWatch Questa integrazione è particolarmente utile quando:

Non sono previsti costi aggiuntivi di archiviazione o manutenzione delle tabelle per le tabelle S3 create tramite questa integrazione, oltre ai prezzi di CloudWatch ingestione e archiviazione esistenti.

Prerequisiti

Prima di implementare l'integrazione, assicurati di disporre di quanto segue:

Autorizzazioni IAM

Per integrare CloudWatch Logs con S3 Tables, devi configurare le autorizzazioni IAM per due entità separate: l'utente o il ruolo che configura l'integrazione e il ruolo di servizio che CloudWatch Logs assume per scrivere dati su S3 Tables.

Per il ruolo o l'utente che crea l'integrazione

L'utente o il ruolo che configura l'integrazione richiede le seguenti autorizzazioni:

Per il ruolo di servizio

Allega la seguente politica IAM al ruolo del servizio IAM utilizzato da CloudWatch Logs per scrivere dati nel bucket di tabella. Questa politica concede il permesso di scrivere nelle tabelle. Sostituisci aws-region e log-group-name con la tua AWS regione, l'ID dell'account e il nome del gruppo di registro. 123456789012

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "logs:integrateWithS3Table"
            ],
            "Resource": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"],
            "Condition": {
                "StringEquals": {
                    "aws:ResourceAccount": "123456789012"
                }
            }
        }
    ]
}

Allega la seguente policy di fiducia al ruolo del servizio IAM che CloudWatch Logs assumerà per scrivere i dati di registro su S3 Tables. Questo ruolo viene creato o selezionato durante la configurazione dell'integrazione. Le condizioni limitano il ruolo in modo che CloudWatch Logs possa assumerlo solo per l'account e il gruppo di log specificati. Sostituisci aws-region e log-group-name con la tua AWS regione, l'ID dell'account e il nome del gruppo di registro. 123456789012

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                },
                "ArnLike": {
                    "aws:SourceArn": ["arn:aws:logs:aws-region:123456789012:log-group:log-group-name"]
                }
            }
        } 
    ]
}

Politica delle chiavi KMS (per dati crittografati)

Se utilizzi una chiave gestita dal cliente per crittografare i dati di registro, devi concedere al responsabile del CloudWatch servizio e al responsabile del servizio di manutenzione di S3 Tables l'accesso alla chiave. Aggiungi le seguenti istruzioni alla tua politica sulle chiavi KMS. Sostituisci i valori segnaposto con il tuo Account AWS ID, la regione, l'ID della chiave KMS e l'ARN della tabella o del bucket di tabella S3.

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "EnableSystemTablesKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "systemtables.cloudwatch.amazonaws.com"
            },
            "Action": [
                "kms:DescribeKey",
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringEquals": {
                    "aws:SourceAccount": "123456789012"
                }
            }
        },
        {
            "Sid": "EnableKeyUsage",
            "Effect": "Allow",
            "Principal": {
                "Service": "maintenance.s3tables.amazonaws.com"
            },
            "Action": [
                "kms:GenerateDataKey",
                "kms:Decrypt"
            ],
            "Resource": "arn:aws:kms:aws-region:123456789012:key/key-id",
            "Condition": {
                "StringLike": {
                    "kms:EncryptionContext:aws:s3:arn": "<table-or-table-bucket-arn>/*"
                }
            }
        }
    ]
}

Nozioni di base

Per iniziare con S3 Tables Integration, devi configurare l'integrazione tra Logs e S3 Tables. CloudWatch Questo processo prevede la configurazione delle associazioni delle fonti di dati e l'impostazione delle autorizzazioni IAM appropriate.