Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
# Monitoraggio AWS Glue tramite CloudWatch parametri Amazon
Puoi creare il profilo delle attività AWS Glue e monitorarle utilizzando il profiler dei processi AWS Glue. Raccoglie ed elabora i dati grezzi dei AWS Glue lavori in metriche leggibili e quasi in tempo reale archiviate in Amazon. CloudWatch Queste statistiche vengono conservate e aggregate in CloudWatch modo da poter accedere alle informazioni storiche per una migliore prospettiva sulle prestazioni dell'applicazione.
**Nota**
È possibile che vengano addebitati costi aggiuntivi quando si abilitano le metriche relative ai lavori e CloudWatch si creano metriche personalizzate. Per ulteriori informazioni, consulta i [ CloudWatch prezzi di Amazon](https://aws.amazon.com/cloudwatch/pricing/).
## Panoramica dei parametri AWS Glue
Quando interagisci conAWS Glue, invia le metriche a. CloudWatch Puoi visualizzare queste metriche utilizzando la AWS Glue console (il metodo preferito), la dashboard della CloudWatch console o AWS Command Line Interface (AWS CLI).
**Per visualizzare i parametri usando il pannello di controllo della console AWS Glue**
Puoi visualizzare grafici dettagliati o di riepilogo dei parametri per un processo oppure grafici dettagliati per un'esecuzione di un processo.
1. Accedi a Console di gestione AWS e apri la AWS Glue console all'indirizzo [https://console.aws.amazon.com/glue/](https://console.aws.amazon.com/glue/).
1. Nel riquadro di navigazione, scegli **Monitoraggio dell'esecuzione del processo**.
1. In **Esecuzioni del processo**, scegli **Operazioni** per interrompere un processo attualmente in esecuzione, visualizzare un processo o riavvolgerne il segnalibro.
1. Seleziona un processo, quindi scegli **Visualizza dettagli di esecuzione** per visualizzare informazioni aggiuntive sull'esecuzione del processo.
**Per visualizzare le metriche utilizzando la dashboard della CloudWatch console**
I parametri vengono raggruppati prima in base allo spazio dei nomi del servizio e successivamente in base alle diverse combinazioni di dimensioni all'interno di ogni spazio dei nomi.
1. Apri la CloudWatch console all'indirizzo [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/).
1. Nel riquadro di navigazione, seleziona **Parametri**.
1. Selezionare lo spazio dei nomi **Glue**.
**Per visualizzare le metriche utilizzando il AWS CLI**
+ Al prompt dei comandi utilizza il comando seguente.
```
1. aws cloudwatch list-metrics --namespace Glue
```
AWS Glueriporta le metriche CloudWatch ogni 30 secondi e i dashboard delle CloudWatch metriche sono configurate per visualizzarle ogni minuto. I parametri AWS Glue rappresentano i valori delta rispetto ai valori segnalati in precedenza. Se appropriato, i pannelli di controllo dei parametri aggregano (sommano) i valori inviati ogni 30 secondi per ottenere un valore per l'intero ultimo minuto.
### AWS Glue comportamento delle metriche per i lavori Spark
I parametri di AWS Glue vengono abilitati al momento dell'inizializzazione di un `GlueContext` in uno script e vengono in genere aggiornati solo al termine di un'attività di Apache Spark. Rappresentano i valori aggregati per tutte le attività di Spark completate fino al momento attuale.
Tuttavia, le metriche Spark che vengono AWS Glue trasmesse a CloudWatch sono generalmente valori assoluti che rappresentano lo stato attuale nel momento in cui vengono segnalate. AWS Glueli riporta CloudWatch ogni 30 secondi e i dashboard delle metriche generalmente mostrano la media dei punti dati ricevuti nell'ultimo minuto.
I nomi dei parametri AWS Glue sono tutti preceduti da uno dei seguenti tipi di prefisso:
+ `glue.driver.`: i parametri i cui nomi iniziano con questo prefisso rappresentano parametri AWS Glue aggregati da tutti gli executor nel driver Spark oppure parametri Spark corrispondenti al driver Spark.
+ `glue.`*executorId*`.`: *executorId* è il numero di un executor Spark specifico. Corrisponde agli executor elencati nei log.
+ `glue.ALL.`: i parametri i cui nomi iniziano con questo prefisso aggregano i valori di tutti gli executor Spark.
## AWS Glue metriche
AWS Glue profila e invia le seguenti metriche CloudWatch ogni 30 secondi e la AWS Glue Metrics Dashboard le riporta una volta al minuto:
| Metrica | Description |
| --- | --- |
| `glue.driver.aggregate.bytesRead` | Il numero di byte letti da tutte le origini dati da tutti i processi Spark completati in esecuzione in tutti gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: byte
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Questo parametro può essere utilizzato come il parametro `glue.ALL.s3.filesystem.read_bytes`, con la differenza che questo viene aggiornato alla fine di un processo Spark e acquisisce anche origini dati non S3. |
| `glue.driver.aggregate.elapsedTime` | Il tempo di ETL trascorso in millisecondi (non include i tempi di bootstrap del processo).
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: millisecondi
Può essere utilizzato per determinare il tempo medio di esecuzione di un processo.
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numCompletedStages` | Il numero di fasi completate nel processo.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numCompletedTasks` | Il numero di attività completate nel processo.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.numFailedTasks` | Il numero di processi non riusciti.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
I dati possono essere utilizzati per impostare allarmi per errori maggiori che potrebbero suggerire anomalie nei dati, nel cluster o negli script. |
| `glue.driver.aggregate.numKilledTasks` | Il numero di attività interrotte.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.recordsRead` | Il numero di record letti da tutte le origini dati da tutti i processi Spark completati in esecuzione in tutti gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Questo parametro può essere utilizzato come il parametro `glue.ALL.s3.filesystem.read_bytes`, con la differenza che questo viene aggiornato alla fine di un processo Spark. |
| `glue.driver.aggregate.shuffleBytesWritten` | Il numero di byte scritti da tutti gli executor per mescolare i dati tra di loro rispetto al report precedente (aggregato dal AWS Glue Metrics Dashboard come numero di byte scritti a questo scopo nel minuto precedente).
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: byte
Può essere utilizzato per monitorare: la distribuzione casuale dei dati nei processi (join di grandi dimensioni, groupBy, repartition, coalesce).
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.aggregate.shuffleLocalBytesRead` | Il numero di byte letti da tutti gli executor per mescolare i dati tra di loro rispetto al report precedente (aggregato dal AWS Glue Metrics Dashboard come numero di byte letti a tale scopo nel minuto precedente).
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella AWS Glue Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione.
Unità: byte
Può essere utilizzato per monitorare: la distribuzione casuale dei dati nei processi (join di grandi dimensioni, groupBy, repartition, coalesce).
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.BlockManager.disk.diskSpaceUsed_MB` | Numero di megabyte di spazio su disco utilizzati in tutti gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Average (Media). Si tratta di un parametro Spark, riportato come valore assoluto.
Unità: megabyte
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.ExecutorAllocationManager.executors.numberAllExecutors` | Numero di executor di processo attivi.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Average (Media). Si tratta di un parametro Spark, riportato come valore assoluto.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors` | Il numero massimo di executor di processo (attivi e in sospeso) necessari per soddisfare il carico corrente.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Maximum (Massimo). Si tratta di un parametro Spark, riportato come valore assoluto.
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.jvm.heap.usage`
`glue.`*executorId*`.jvm.heap.usage`
`glue.ALL.jvm.heap.usage` | Frazione di memoria usata dall'heap JVM per questo driver (dimensione: 0-1) per driver, executor identificato da executorId o TUTTI gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Average (Media). Si tratta di un parametro Spark, riportato come valore assoluto.
Unità: percentuale
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.jvm.heap.used`
`glue.`*executorId*`.jvm.heap.used`
`glue.ALL.jvm.heap.used` | Il numero di byte di memoria utilizzati dall'heap JVM per il driver, l'executor identificato da *executorId* o TUTTI gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue Job), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Average (Media). Si tratta di un parametro Spark, riportato come valore assoluto.
Unità: byte
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.s3.filesystem.read_bytes`
`glue.`*executorId*`.s3.filesystem.read_bytes`
`glue.ALL.s3.filesystem.read_bytes` | Il numero di byte letti da Amazon S3 dal driver, da un executor identificato da *ExecutorID* o da ALL executor rispetto al report precedente (aggregato dal Metrics Dashboard come il numero di byte letti AWS Glue nel minuto precedente).
Dimensioni valide: `JobName`, `JobRunId` e `Type` (valutazione).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione AWS Glue . L'area sotto la curva nella AWS Glue Metrics Dashboard può essere utilizzata per confrontare visivamente i byte letti da due diverse esecuzioni di lavoro.
Unità: byte.
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
I dati risultanti possono essere utilizzati per:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.s3.filesystem.write_bytes`
`glue.`*executorId*`.s3.filesystem.write_bytes`
`glue.ALL.s3.filesystem.write_bytes` | Il numero di byte scritti su Amazon S3 dal driver, da un executor identificato da *ExecutorID* o da ALL executor a partire dal report precedente (aggregato dal Metrics Dashboard come il numero di byte scritti AWS Glue nel minuto precedente).
Dimensioni valide: `JobName`, `JobRunId` e `Type` (valutazione).
Statistiche valide: SUM (Somma). Questa metrica è un valore delta dell'ultimo valore riportato, quindi nella Metrics Dashboard viene utilizzata una statistica SUM per l'aggregazione AWS Glue . L'area sotto la curva nella AWS Glue Metrics Dashboard può essere utilizzata per confrontare visivamente i byte scritti da due diverse esecuzioni di job.
Unità: byte
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.streaming.numRecords` | Numero di record ricevuti in un micro-batch. Questa metrica è disponibile solo per i lavori di AWS Glue streaming con la AWS Glue versione 2.0 e successive.
Dimensioni valide: `JobName` (il nome del AWS Glue lavoro), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Valid Statistics: Sum (Somma), Maximum (Massimo), Minimum (Minimo), Average (Media), Percentile (Percentuale)
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.streaming.batchProcessingTimeInMs` | Il tempo necessario per elaborare i batch in millisecondi. Questa metrica è disponibile solo per i lavori di AWS Glue streaming con la AWS Glue versione 2.0 e successive.
Dimensioni valide: `JobName` (il nome del AWS Glue lavoro), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (count).
Valid Statistics: Sum (Somma), Maximum (Massimo), Minimum (Minimo), Average (Media), Percentile (Percentuale)
Unità: numero
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
| `glue.driver.system.cpuSystemLoad`
`glue.`*executorId*`.system.cpuSystemLoad`
`glue.ALL.system.cpuSystemLoad` | Frazione del carico di sistema della CPU usata (dimensione: 0-1) dal driver, da un executor identificato da *executorId* o da tutti gli executor.
Dimensioni valide: `JobName` (il nome del AWS Glue lavoro), `JobRunId` (l' JobRun ID. or`ALL`) e `Type` (gauge).
Statistiche valide: Average (Media). Questo parametro è riportato come valore assoluto.
Unità: percentuale
Può essere utilizzato per monitorare:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)
Alcuni modi per utilizzare i dati:[See the AWS documentation website for more details](http://docs.aws.amazon.com/it_it/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html) |
## Dimensioni per le metriche AWS Glue
AWS Glue le metriche utilizzano lo spazio dei AWS Glue nomi e forniscono metriche per le seguenti dimensioni:
| Dimensione | Description |
| --- | --- |
| `JobName` | Questa dimensione filtra le metriche di tutte le esecuzioni di un processo specifico. AWS Glue |
| `JobRunId` | Questa dimensione filtra le metriche di un AWS Glue lavoro specifico eseguito da un JobRun ID o. `ALL` |
| `Type` | Questa dimensione filtra i parametri in base a `count` (numero aggregato) o `gauge` (valore in un determinato momento). |
Per ulteriori informazioni, consulta la [Amazon CloudWatch User Guide](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/).