Monitorare i calcoli di Apache Spark in Athena con i parametri di CloudWatch
Athena pubblica i parametri relativi al calcolo su Amazon CloudWatch quando viene selezionata l'opzione Publish CloudWatch metrics per il gruppo di lavoro abilitato per Spark. Nella console CloudWatch puoi creare pannelli di controllo personalizzati e impostare soglie e allarmi relativi ai parametri.
Athena pubblica i parametri seguenti nella console CloudWatch sotto lo spazio dei nomi AmazonAthenaForApacheSpark:
-
DPUCount: il numero di DPU utilizzate durante la sessione per eseguire i calcoli.
Questo parametro possiede le seguenti dimensioni:
-
SessionId: l'ID della sessione in cui vengono inviati i calcoli. -
WorkGroup: il nome del gruppo di lavoro.
Visualizzazione dei parametri dei gruppi di lavoro abilitati per Spark nella console Amazon CloudWatch
Apri la console CloudWatch all'indirizzo https://console.aws.amazon.com/cloudwatch/
. -
Nel pannello di navigazione, seleziona Metrics (Parametri), All metrics (Tutti i parametri).
-
Seleziona lo spazio dei nomi AmazonAthenaForApacheSpark.
Per visualizzare i parametri con CLI
-
Esegui una di queste operazioni:
-
Per elencare i parametri per i gruppi di lavoro Athena abilitati per Spark, apri un prompt dei comandi e utilizza il comando seguente:
aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark" -
Per visualizzare un elenco di tutti i parametri disponibili, usare il comando seguente:
aws cloudwatch list-metrics
-
Se hai abilitato i parametri di CloudWatch nel gruppo di lavoro Athena abilitato per Spark, Athena invia i parametri seguenti a CloudWatch per ciascun gruppo di lavoro. Il parametro utilizza lo spazio dei nomi AmazonAthenaForApacheSpark.
| Nome parametro | Descrizione |
|---|---|
| DPUCount | Il numero di unità elaborazione dati (DPU) utilizzate durante la sessione per eseguire i calcoli. Una DPU è una misura relativa della potenza di elaborazione ed è costituita da 4 vCPU di capacità di elaborazione e 16 GB di memoria. |
Questo parametro ha le seguenti dimensioni.
| Dimensione | Descrizione |
|---|---|
| SessionId |
L'ID della sessione in cui vengono inviati i calcoli. |
| Gruppo di lavoro |
Il nome del gruppo di lavoro. |
