Supervisión de Apache Spark con métricas de CloudWatch
Athena publica las métricas relacionadas con el cálculo en Amazon CloudWatch cuando se selecciona la opción Publish CloudWatch metrics para su grupo de trabajo habilitado para Spark. En la consola de CloudWatch puede crear paneles personalizados y establecer alarmas y activadores de métricas.
Athena publica las siguientes métricas en la consola de CloudWatch bajo el espacio de nombres AmazonAthenaForApacheSpark:
-
DPUCount: número de DPU consumidas durante la sesión para ejecutar los cálculos.
Esta métrica tiene las siguientes dimensiones:
-
SessionId: ID de la sesión en la que se envían los cálculos. -
WorkGroup: nombre del grupo de trabajo.
Para consultar las métricas de los grupos de trabajo habilitados para Spark en la consola de Amazon CloudWatch
Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/
. -
En el panel de navegación, seleccione Métricas y, a continuación, Todas las métricas.
-
Seleccione el espacio de nombres AmazonAthenaForApacheSpark.
Para ver métricas mediante la CLI
-
Realice una de las siguientes acciones:
-
Para enumerar las métricas de los grupos de trabajo habilitados para Spark de Athena, abra un símbolo del sistema y utilice el siguiente comando:
aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark" -
Para mostrar todas las métricas disponibles, utilice el siguiente comando:
aws cloudwatch list-metrics
-
Si habilitó métricas de CloudWatch en su grupo de trabajo de Athena habilitado para Spark, Athena envía las siguientes métricas a CloudWatch por grupo de trabajo. La métrica usa el espacio de nombres AmazonAthenaForApacheSpark.
| Nombre de métrica | Descripción |
|---|---|
| DPUCount | Número de DPU (unidades de procesamiento de datos) consumidas durante la sesión para ejecutar los cálculos. Una DPU es una medida relativa de la potencia de procesamiento que consta de 4 vCPU de capacidad de cómputo y 16 GB de memoria. |
Esta métrica tiene las siguientes dimensiones.
| Dimensión | Descripción |
|---|---|
| SessionId |
El ID de la sesión en la que se envían los cálculos. |
| WorkGroup |
El nombre del grupo de trabajo. |
En la versión de lanzamiento de Apache Spark 3.5, si habilitó métricas de CloudWatch en su grupo de trabajo de Athena Spark, Athena envía las siguientes métricas a CloudWatch. La métrica usa el espacio de nombres AmazonAthenaForApacheSpark.
| Nombre | Descripción |
|---|---|
| DPUConsumed | El número de DPU consumidas activamente por las consultas en un estado EN EJECUCIÓN en un momento determinado en el grupo de trabajo. |
Esta métrica tiene las siguientes dimensiones.
| Dimensión | Descripción |
|---|---|
| Cuenta |
El ID de la cuenta de AWS. |
| WorkGroup |
El nombre del grupo de trabajo. |
