`AWSSupport-DiagnoseEMRLogsWithAthena`

Descrizione

Il AWSSupport-DiagnoseEMRLogsWithAthena runbook aiuta a diagnosticare i log di Amazon EMR utilizzando Amazon Athena in integrazione con Data Catalog. AWS Glue Amazon Athena viene utilizzato per interrogare i file di log di Amazon EMR per contenitori, log di nodi o entrambi, con parametri opzionali per intervalli di date specifici o ricerche basate su parole chiave.

Il runbook può recuperare automaticamente la posizione del log di Amazon EMR per un cluster esistente oppure puoi specificare la posizione del log di Amazon S3. Per analizzare i log, il runbook:

Crea un AWS Glue database ed esegue query Amazon Athena Data Definition Language (DDL) sulla posizione dei log Amazon EMR Amazon S3 per creare tabelle per i log dei cluster e un elenco di problemi noti.
Esegue query DML (Data Manipulation Language) per cercare modelli di problemi noti nei log di Amazon EMR. Le query restituiscono un elenco dei problemi rilevati, il numero di occorrenze e il numero di parole chiave corrispondenti in base al percorso del file Amazon S3.
I risultati vengono caricati in un bucket Amazon S3 specificato sotto il prefisso. saw_diagnose_EMR_known_issues
Il runbook restituisce i risultati delle query su Amazon Athena, evidenziando risultati, consigli e riferimenti agli articoli di Amazon Knowledge Center (KC) provenienti da un sottoinsieme predefinito.
In caso di completamento o errore, il AWS Glue database e i file relativi ai problemi noti caricati nel bucket Amazon S3 vengono eliminati.

Come funziona?

AWSSupport-DiagnoseEMRLogsWithAthenaEsegui l'analisi dei log di Amazon EMR utilizzando Amazon Athena per rilevare errori ed evidenziare risultati, raccomandazioni e articoli pertinenti del Knowledge Center.

Il runbook esegue i seguenti passaggi:

Ottieni la posizione del log del cluster Amazon EMR utilizzando l'ID del cluster o inserisci la posizione di Amazon S3 per recuperare la posizione e le dimensioni del log.
Fornisci una stima dei costi di Athena in base alla dimensione della posizione del log.
Ottieni l'approvazione per procedere richiedendo l'approvazione ai responsabili IAM designati prima di eseguire le query su Athena e continuare con i passaggi successivi.
Carica i problemi noti nel bucket Amazon S3 specificato, crea un database e delle tabelle. AWS Glue
Esegui query Athena sui dati dei log di Amazon EMR. Le query possono essere eseguite per intervallo di date, parole chiave, entrambi i criteri o eseguite senza filtri in base agli input forniti.
Analizza i risultati per evidenziare risultati, consigli e articoli KC pertinenti.
Link di output per i risultati delle query DML di Amazon Athena.
Pulisci l'ambiente rimuovendo il database creato, le tabelle e i problemi noti caricati.

Tipo di documento

Automazione

Proprietario

Amazon

Piattaforme

Il AutomationAssumeRole parametro richiede le seguenti azioni per utilizzare correttamente il runbook:

atena: GetQueryExecution
atena: StartQueryExecution
atena: GetPreparedStatement
atena: CreatePreparedStatement
colla: GetDatabase
colla: CreateDatabase
colla: DeleteDatabase
colla: CreateTable
colla: GetTable
colla: DeleteTable
riduzione della mappa elastica: DescribeCluster
s3: ListBucket
s3: GetBucketVersioning
s3: ListBucketVersions
s3: GetBucketPublicAccessBlock
s3: GetBucketPolicyStatus
s3: GetObject
s3: GetBucketLocation
prezzi: GetProducts
prezzi: GetAttributeValues
prezzi: DescribeServices
prezzi: ListPriceLists

Importante

Per limitare l'accesso solo alle risorse necessarie a questa automazione, allega la seguente policy al ruolo IAM che considera affidabile il servizio SSM. Sostituisci la partizione, la regione e l'account con i valori appropriati per la partizione, la regione e il numero di account in cui viene eseguito il runbook.

JSON


{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeCluster",
                "glue:GetDatabase",
                "athena:GetQueryExecution",
                "athena:StartQueryExecution",
                "athena:GetPreparedStatement",
                "athena:CreatePreparedStatement",
                "s3:ListBucket",
                "s3:GetBucketVersioning",
                "s3:ListBucketVersions",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "pricing:GetProducts",
                "pricing:GetAttributeValues",
                "pricing:DescribeServices",
                "pricing:ListPriceLists"
            ],
            "Resource": "*"
        },
        {
            "Sid": "RestrictPutObjects",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/results/*",
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Sid": "RestrictDeleteAccess",
            "Effect": "Allow",
            "Action": [
                "s3:DeleteObject",
                "s3:DeleteObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:CreateDatabase",
                "glue:DeleteDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:userDefinedFunction/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:DeleteTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_known_issues",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_logs_table",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/j_*",
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        }
    ]
}

Istruzioni

Segui questi passaggi per configurare l'automazione:

Naviga AWSSupport-DiagnoseEMRLogsWithAthena nella AWS Systems Manager sezione Documenti.
Seleziona Execute automation (Esegui automazione).
Per i parametri di input, inserisci quanto segue:
- AutomationAssumeRole (Facoltativo):
  
  L'Amazon Resource Name (ARN) del ruolo AWS Identity and Access Management (IAM) che consente a Systems Manager Automation di eseguire le azioni per tuo conto. Se non viene specificato alcun ruolo, Systems Manager Automation utilizza le autorizzazioni dell'utente che avvia questo runbook.
- ClusterID (obbligatorio):
  
  L'ID del cluster Amazon EMR.
- S3LogLocation (Facoltativo):
  
  La posizione del registro Amazon EMR di Amazon S3. Inserisci l' Path-style URL della posizione Amazon S3, ad esempio:. s3://amzn-s3-demo-bucket/myfolder/j-1K48XXXXXXHCB/ Fornisci questo parametro se il cluster Amazon EMR è stato interrotto per più di giorni. 30
- S3BucketName (Obbligatorio):
  
  Il nome del bucket Amazon S3 per caricare un elenco di problemi noti e l'output delle query su Amazon Athena. Il bucket deve avere Block Public Access Enabled e trovarsi nella stessa AWS regione e nello stesso account del cluster Amazon EMR.
- Approvatori (obbligatorio):
  
  L'elenco dei principali AWS autenticati che sono in grado di approvare o rifiutare l'azione. È possibile specificare i principali utilizzando uno dei seguenti formati: nome utente, ARN utente, ARN del ruolo IAM o ARN di assunzione del ruolo IAM. Il numero massimo di approvatori è 10.
- FetchNodeLogsOnly (Facoltativo):
  
  Se impostata sutrue, l'automazione diagnostica i log dei contenitori delle applicazioni Amazon EMR. Il valore predefinito è false.
- FetchContainersLogsOnly(Facoltativo):
  
  Se impostata sutrue, l'automazione diagnostica i log dei contenitori Amazon EMR. Il valore predefinito è false.
- EndSearchDate (Facoltativo):
  
  Data di fine per le ricerche nei log. Se fornita, l'automazione cercherà esclusivamente i log generati fino alla data specificata nel formato YYYY-MM-DD (ad esempio:2024-12-30).
- DaysToCheck (Facoltativo):
  
  Quando EndSearchDate viene fornito, questo parametro è necessario per determinare il numero di giorni per la ricerca retrospettiva dei registri tra quelli specificati. EndSearchDate Il valore massimo è 30 giorni. Il valore predefinito è 1.
- SearchKeywords (Facoltativo):
  
  L'elenco delle parole chiave da cercare nei log, separate da virgole. Le parole chiave non possono contenere virgolette singole o doppie.
Seleziona Esegui.
L'automazione viene avviata.
Il documento esegue i seguenti passaggi:
- ottieniLogLocation:
  
  Recupera la posizione del log di Amazon S3 interrogando l'ID del cluster Amazon EMR specificato. Se l'automazione non è in grado di interrogare la posizione del log dall'ID del cluster Amazon EMR, il runbook utilizza il parametro di input. S3LogLocation
- filiale: OnValidLog
  
  Verifica la posizione dei log di Amazon EMR. Se la posizione è valida, procedi a stimare i costi potenziali di Amazon Athena durante l'esecuzione di query sui log di Amazon EMR.
- stima: AthenaCosts
  
  Determina la dimensione dei log di Amazon EMR e fornisce una stima dei costi per l'esecuzione delle scansioni Athena sul set di dati di log. Per le regioni non commerciali (non AWS partizioni), questo passaggio fornisce solo la dimensione del registro senza stimare i costi. I costi possono essere calcolati utilizzando la documentazione sui prezzi di Athena nella regione specificata.
- Approva l'automazione:
  
  Attende l'approvazione dei principali IAM designati per procedere con le fasi successive dell'automazione. La notifica di approvazione contiene il costo stimato della scansione di Amazon Athena sui log di Amazon EMR e dettagli sulle risorse fornite dall'automazione.
- carica: KnownIssuesExecuteAthenaQueries
  
  Carica i problemi noti predefiniti nel bucket Amazon S3 specificato nel parametro. S3BucketName Crea database e tabelle AWS Glue . Esegue le query di Amazon Athena nel AWS Glue database in base ai parametri di input.
- ottenereQueryExecutionStatus:
  
  Attende che l'esecuzione della query di Amazon Athena sia in SUCCEEDED stato. La query DML di Amazon Athena cerca errori ed eccezioni nei log del cluster Amazon EMR.
- AthenaResultsanalizza:
  
  Analizza i risultati di Amazon Athena per fornire risultati, consigli e articoli del Knowledge Center (KC) provenienti da un set predefinito di mappature.
- ottieni: AnalyzeResultsQuery1ExecutionStatus
  
  Attende che l'esecuzione della query sia nello SUCCEEDED stato. La query DML di Amazon Athena analizza i risultati della precedente query DML. Questa query di analisi restituirà le eccezioni corrispondenti alle risoluzioni e agli articoli KC
- ottieni: AnalyzeResultsQuery2ExecutionStatus
  
  Attende che l'esecuzione della query sia nello SUCCEEDED stato. La query DML di Amazon Athena analizza i risultati della precedente query DML. Questa query di analisi restituirà un elenco dei dati exceptions/errors rilevati in ogni percorso di log di Amazon S3.
- stampaAthenaQueriesMessage:
  
  Stampa i link per i risultati delle query DML di Amazon Athena.
- Pulisci le risorse:
  
  Clean-ups risorse eliminando il AWS Glue database creato ed eliminando i file di problemi noti creati nel bucket dei log di Amazon EMR.
Al termine, consulta la sezione Output per i risultati dettagliati dell'esecuzione:
L'output fornisce tre collegamenti per i risultati delle query di Athena:
- Elenco di tutti gli errori e delle eccezioni frequenti rilevati nei log del cluster Amazon EMR, insieme alle posizioni dei log corrispondenti (prefisso Amazon S3).
- Riepilogo delle eccezioni note uniche trovate nei log di Amazon EMR, insieme alle risoluzioni consigliate e agli articoli KC per aiutare nella risoluzione dei problemi.
- Dettagli su dove vengono visualizzati errori ed eccezioni specifici nei percorsi di log di Amazon S3, a supporto di ulteriori diagnosi.

Riferimenti

Systems Manager Automation

AWS documentazione di servizio

Per ulteriori informazioni, consulta la sezione Risoluzione dei problemi relativi ai cluster Amazon EMR

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

AWSSupport-AnalyzeEMRLogs

Servizio Amazon OpenSearch