Monitorare i parametri delle query Athena con CloudWatch - Amazon Athena

Monitorare i parametri delle query Athena con CloudWatch

Athena pubblica i parametri correlati alle query in Amazon CloudWatch quando è selezionata l'opzione publish query metrics to CloudWatch (Pubblica i parametri di query in CloudWatch). È possibile creare pannelli di controllo personalizzati, impostare allarmi e trigger sui parametri in CloudWatch oppure utilizzare pannelli di controllo prepopolati direttamente dalla console Athena.

Quando si abilitano i parametri di query per le query nei gruppi di lavoro, i parametri vengono visualizzati nella tab Parametri del pannello Gruppi di lavoro per ogni gruppo di lavoro nella console Athena.

Athena pubblica i parametri seguenti nella console CloudWatch:

  • DPUAllocated: il numero totale di DPU (unità di elaborazione dati) fornite in una prenotazione della capacità per eseguire le query.

  • DPUConsumed: il numero di DPU utilizzate attivamente dalle query in uno stato RUNNING in un determinato momento di una prenotazione. Parametro emesso solo quando il gruppo di lavoro è associato a una prenotazione della capacità e include tutti i gruppi di lavoro associati a una prenotazione.

  • DPUCount: il numero massimo di DPU utilizzate dalla query, pubblicate esattamente una volta completata la query.

  • EngineExecutionTime: il numero di millisecondi necessari per l'esecuzione della query.

  • ProcessedBytes: il numero di byte scansionati da Athena per query DML.

  • QueryPlanningTime: il numero di millisecondi richiesti da Athena per pianificare il flusso di elaborazione delle query.

  • QueryQueueTime: il numero di millisecondi di permanenza della query nella coda di query in attesa delle risorse.

  • ServicePreProcessingTime: il numero di millisecondi richiesti da Athena per pre-elaborare la query prima di inviarla al motore di query.

  • ServiceProcessingTime: il numero di millisecondi richiesti da Athena per elaborare i risultati della query dopo che il motore di query ha terminato l'esecuzione della query.

  • TotalExecutionTime: il numero di millisecondi richiesti da Athena per eseguire una query DDL o DML.

Per le descrizioni più complete, consulta Elenco di parametri e dimensioni CloudWatch per Athena più avanti in questo documento.

Questi parametri hanno le seguenti dimensioni:

  • CapacityReservation: il nome della prenotazione della capacità utilizzata per eseguire la query, se applicabile.

  • QueryState – SUCCEEDED, FAILED, o CANCELED

  • QueryType – DML, DDL, o UTILITY

  • WorkGroup – nome del gruppo di lavoro

Athena pubblica i parametri seguenti nella console CloudWatch sotto lo spazio dei nomi AmazonAthenaForApacheSpark:

  • DPUCount: il numero di DPU utilizzate durante la sessione per eseguire i calcoli.

Questo parametro possiede le seguenti dimensioni:

  • SessionId: l'ID della sessione in cui vengono inviati i calcoli.

  • WorkGroup: il nome del gruppo di lavoro.

Per ulteriori informazioni, consulta Elenco di parametri e dimensioni CloudWatch per Athena più avanti in questo argomento. Per ulteriori informazioni sui parametri di utilizzo di Athena, consulta Monitorare i parametri di utilizzo di Athena con CloudWatch.

È possibile visualizzare i parametri delle query nella console Athena o nella console CloudWatch.

Per visualizzare i parametri delle query per un gruppo di lavoro nella console Athena

  1. Aprire la console Athena all'indirizzo https://console.aws.amazon.com/athena/.

  2. Se il pannello di navigazione della console non è visibile, scegli il menu di espansione a sinistra.

    Scegli il menu di espansione.

  3. Nel pannello di navigazione, seleziona Workgroups (Gruppi di lavoro).

  4. Scegli il gruppo di lavoro desiderato dall'elenco, quindi seleziona la scheda Metrics (Parametri).

    Viene visualizzato il pannello di controllo dei parametri.

    Nota

    Se i parametri sono stati abilitati per il gruppo di lavoro e/o recentemente non c'è stata alcuna attività di query, i grafici sul pannello di controllo potrebbero essere vuoti. L'attività di query viene recuperata da CloudWatch a seconda dell'intervallo specificato nella fase successiva.

  5. Nella sezione Metrics (Parametri), scegli l'intervallo di parametri che Athena deve utilizzare per recuperare i parametri delle query da CloudWatch oppure specifica un intervallo personalizzato.

    Specifica dell'intervallo di recupero dei parametri per un gruppo di lavoro nella console Athena.

  6. Per aggiornare i parametri visualizzati, scegliere l'icona di aggiornamento.

    Scelta dell'icona di aggiornamento.

  7. Fai clic sulla freccia accanto all'icona di aggiornamento per scegliere la frequenza di aggiornamento per la visualizzazione dei parametri.

    Scelta di un intervallo di aggiornamento per i parametri del gruppo di lavoro visualizzati nella console Athena.
Per visualizzare i parametri nella console Amazon CloudWatch

  1. Apri la console CloudWatch all'indirizzo https://console.aws.amazon.com/cloudwatch/.

  2. Nel pannello di navigazione, seleziona Metrics (Parametri), All metrics (Tutti i parametri).

  3. Seleziona lo spazio dei nomi AWS/Athena.

Per visualizzare i parametri con AWS CLI

  • Esegui una di queste operazioni:

    • Per elencare i parametri per Athena, apri un prompt dei comandi e usa il comando seguente:

      aws cloudwatch list-metrics --namespace "AWS/Athena"

    • Per visualizzare un elenco di tutti i parametri disponibili, usare il comando seguente:

      aws cloudwatch list-metrics"

Se sono stati abilitati i parametri di CloudWatch in Athena, vengono inviati i parametri seguenti a CloudWatch per gruppo di lavoro. I parametri seguenti utilizzano lo spazio dei nomi AWS/Athena.

Nome parametro Descrizione
DPUAllocated

Il numero totale di DPU (unità di elaborazione dati) fornite in una prenotazione della capacità per eseguire le query.

DPUConsumed Il numero di DPU utilizzate attivamente dalle query in uno stato RUNNING in un determinato momento di una prenotazione. Questo parametro viene emesso solo quando il gruppo di lavoro è associato a una prenotazione della capacità e include tutti i gruppi di lavoro associati a una prenotazione. Se sposti un gruppo di lavoro da una prenotazione all'altra, il parametro include i dati del momento in cui il gruppo di lavoro apparteneva alla prima prenotazione. Per informazioni delle prenotazioni della capacità, consulta Gestisci la capacità di elaborazione delle query.
DPUCount Il numero massimo di DPU utilizzate dalla query, pubblicate esattamente una volta completata la query. Questo parametro viene emesso solo per i gruppi di lavoro collegati a una prenotazione della capacità.
EngineExecutionTime

Il numero di millisecondi necessari per l'esecuzione della query.
ProcessedBytes

Il numero di byte analizzati da Athena per query DML. Per le query che sono state annullate (dagli utenti o automaticamente se hanno raggiunto il limite), questo valore include la quantità di dati analizzati prima dell'annullamento. Questo parametro non viene segnalato per le query DDL o CTAS.
QueryPlanningTime Il numero di millisecondi richiesti da Athena per pianificare il flusso di elaborazione delle query. Include il tempo impiegato per recuperare le partizioni della tabella dall'origine dati; Poiché il motore di query esegue la pianificazione delle query, il tempo di pianificazione delle query è un sottoinsieme di EngineExecutionTime.
QueryQueueTime Il numero di millisecondi di permanenza della query nella coda di query in attesa delle risorse. Se si verificano errori temporanei, la query può essere aggiunta automaticamente alla coda.
ServicePreProcessingTime Il numero di millisecondi richiesti da Athena per pre-elaborare la query prima di inviarla al motore di query.
ServiceProcessingTime Il numero di millisecondi richiesti da Athena per elaborare i risultati della query dopo che il motore di query ha terminato l'esecuzione della query.
TotalExecutionTime Il numero di millisecondi richiesti da Athena per eseguire una query DDL o DML. TotalExecutionTime include QueryQueueTime, QueryPlanningTime, EngineExecutionTime e ServiceProcessingTime.

Questi parametri per Athena possiedono le seguenti dimensioni.

Dimensione Descrizione
CapacityReservation

Il nome della prenotazione della capacità utilizzata per eseguire la query, se applicabile. Quando non viene utilizzata una prenotazione della capacità, questa dimensione non restituisce dati.
QueryState

Lo stato della query.

Statistiche valide: SUCCEEDED, FAILED o CANCELED.
QueryType

Il tipo di query.

Statistiche valide: DDL, DML o UTILITY. Il tipo di istruzione di query che è stata eseguita. DDL indica le istruzioni di query DDL (Data Definition Language). DML indica istruzioni di query DML (Data Manipulation Language), ad esempio CREATE TABLE AS SELECT. UTILITY indica istruzioni di query diverse da DDL e DML, ad esempio SHOW CREATE TABLE o DESCRIBE TABLE.
Gruppo di lavoro

Il nome del gruppo di lavoro.