Actualizaciones de versiones de monitoreo Monitorización a nivel de aplicación Monitorización a nivel de trabajo Monitorización a nivel de trabajador laboral

Monitorización de trabajos y aplicaciones de EMR sin servidor

Con CloudWatch las métricas de Amazon para EMR Serverless, puede recibir métricas de 1 minuto y acceder a los CloudWatch paneles de control para acceder a CloudWatch las near-real-time operaciones y el rendimiento de sus aplicaciones EMR Serverless.

EMR Serverless envía métricas a CloudWatch cada minuto. EMR Serverless emite estas métricas a nivel de aplicación, así como a nivel de puesto, tipo de trabajador y niveles. capacity-allocation-type

Para empezar, utilice la plantilla de CloudWatch panel EMR Serverless que se proporciona en el repositorio EMR GitHub Serverless e impleméntela.

nota

Las cargas de trabajo interactivas EMR sin servidor solo tienen habilitada la monitorización a nivel de aplicación y tienen una nueva dimensión de tipo de trabajador Spark_Kernel. Para monitorizar y depurar sus cargas de trabajo interactivas, acceda a los registros y la IU de Apache Spark desde su espacio de trabajo de EMR Studio.

Supervisión de métricas

importante

Estamos reestructurando nuestra visualización de métricas para agregar ApplicationName y JobName como dimensiones. En la versión 7.10 y las versiones posteriores, las métricas antiguas ya no se actualizarán. En las versiones de EMR anteriores a la versión 7.10, las métricas antiguas seguirán disponibles.

Dimensiones actuales

La siguiente tabla describe las dimensiones de EMR sin servidor disponibles en el espacio de nombres AWS/EMR Serverless.

Dimensiones de las métricas de EMR sin servidor
Dimensión	Description (Descripción)
`ApplicationId`	Filtra todas las métricas de una aplicación de EMR sin servidor mediante el ID de la aplicación.
`ApplicationName`	Filtra todas las métricas de una aplicación de EMR sin servidor mediante el nombre. Si no se proporciona el nombre o si contiene caracteres que no sean ASCII, se publica como [Sin especificar].
`JobId`	Filtra todas las métricas de una ejecución del trabajo de EMR sin servidor mediante el ID.
`JobName`	Filtra todas las métricas de una ejecución de trabajo de EMR sin servidor mediante el nombre. Si no se proporciona el nombre o si contiene caracteres que no sean ASCII, se publica como [Sin especificar].
`WorkerType`	Filtra todas las métricas de un tipo de trabajador determinado. Por ejemplo, puede filtrar por `SPARK_DRIVER` y `SPARK_EXECUTORS` para los trabajos de Spark.
`CapacityAllocationType`	Filtra todas las métricas de un tipo de asignación de capacidad determinado. Por ejemplo, puede filtrar para `PreInitCapacity` por la capacidad preinicializada y `OnDemandCapacity` por todo lo demás.

Monitorización a nivel de aplicación

Puede supervisar el uso de la capacidad a nivel de la aplicación EMR Serverless con las métricas de Amazon. CloudWatch También puede configurar una sola pantalla para monitorear el uso de la capacidad de las aplicaciones en un CloudWatch panel de control.

Métricas de aplicaciones de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`MaxCPUAllowed`	El máximo de CPU permitida para la aplicación.	vCPU	`ApplicationId`, `ApplicationName`
`MaxMemoryAllowed`	El máximo de memoria permitida en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`MaxStorageAllowed`	El máximo de almacenamiento permitido en GB para la aplicación.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`
`CPUAllocated`	El número total de v CPUs asignado.	vCPU	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`IdleWorkerCount`	El número total de trabajadores inactivos.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`MemoryAllocated`	La memoria total en GB asignada.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`PendingCreationWorkerCount`	El número total de trabajadores pendientes de creación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`RunningWorkerCount`	El número total de trabajadores que utiliza la aplicación.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`StorageAllocated`	El almacenamiento total en disco en GB asignado.	Gigabytes (GB)	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`
`TotalWorkerCount`	El número total de trabajadores disponibles.	Recuento	`ApplicationId`, `ApplicationName`, `WorkerType`, `CapacityAllocationType`

Monitorización a nivel de trabajo

Amazon EMR sin servidor envía las siguientes métricas a nivel de trabajo a Amazon CloudWatch cada minuto. Puede acceder a los valores de las métricas de las ejecuciones de trabajos agregados por estado de ejecución de trabajos. La unidad de cada una de las métricas es el recuento.

Métricas a nivel de trabajo de EMR sin servidor
Métrica	Description (Descripción)	Dimensión
`SubmittedJobs`	El número de trabajos en un estado de Enviado.	`ApplicationId`, `ApplicationName`
`PendingJobs`	El número de trabajos en un estado de Pendiente.	`ApplicationId`, `ApplicationName`
`ScheduledJobs`	El número de trabajos en un estado de Programado.	`ApplicationId`, `ApplicationName`
`RunningJobs`	El número de trabajos en un estado de En ejecución.	`ApplicationId`, `ApplicationName`
`SuccessJobs`	El número de trabajos en un estado de Correcto.	`ApplicationId`, `ApplicationName`
`FailedJobs`	El número de trabajos en un estado de Error.	`ApplicationId`, `ApplicationName`
`CancellingJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`
`CancelledJobs`	El número de trabajos en un estado de Cancelado.	`ApplicationId`, `ApplicationName`

Puede monitorear las métricas específicas del motor para los trabajos EMR Serverless en ejecución y completados con una aplicación específica del motor. UIs Cuando se accede a la IU de un trabajo en ejecución, se muestra la IU de la aplicación en directo con actualizaciones en tiempo real. Cuando se accede a la IU de un trabajo completado, se muestra la IU persistente de la aplicación.

Trabajos en ejecución

Para sus trabajos de EMR sin servidor en ejecución, acceda a una interfaz en tiempo real que proporcione métricas específicas del motor. Puede utilizar la IU de Apache Spark o la IU de Hive Tez para monitorizar y depurar sus trabajos. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Trabajos completados

Para sus trabajos de EMR sin servidor completados, utilice el servidor de historial de Spark o la IU persistente de Hive Tez para acceder a los detalles de los trabajos, las etapas, las tareas y las métricas de las ejecuciones de trabajos de Spark o Hive. Para acceder a ellos UIs, utilice la consola de EMR Studio o solicite un punto final de URL seguro con. AWS Command Line Interface

Monitorización a nivel de trabajador laboral

Amazon EMR Serverless envía a Amazon las siguientes métricas a nivel de trabajador laboral que están disponibles en el espacio de AWS/EMRServerless nombres y el grupo de métricasJob Worker Metrics. CloudWatch EMR Serverless recopila puntos de datos de trabajadores individuales durante la ejecución de los trabajos a nivel de trabajo, tipo de trabajador y nivel. capacity-allocation-type Se puede utilizar ApplicationId como una dimensión para monitorizar varios trabajos que pertenecen a la misma aplicación.

Métricas a nivel de trabajador laboral de EMR sin servidor
Métrica	Description (Descripción)	Unidad	Dimensión
`WorkerCpuAllocated`	El número total de núcleos de vCPU asignados a los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerCpuUsed`	El número total de núcleos de vCPU utilizados por los trabajadores en una ejecución de trabajo.	vCPU	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryAllocated`	La memoria total en GB asignada a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerMemoryUsed`	La memoria total en GB utilizada por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageAllocated`	El número de bytes de almacenamiento efímero asignados a los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerEphemeralStorageUsed`	El número de bytes de almacenamiento efímero utilizados por los trabajadores en una ejecución de trabajo.	Gigabytes (GB)	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageReadBytes`	El número de bytes leídos del almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`
`WorkerStorageWriteBytes`	El número de bytes escritos en almacenamiento por los trabajadores en una ejecución de trabajo.	Bytes	`JobId`, `JobName`, `ApplicationId`, `ApplicationName`, `WorkerType`, y `CapacityAllocationType`

En los siguientes pasos, se describe cómo acceder a los distintos tipos de métricas.

Console

Para acceder a la IU de la aplicación con la consola

Navegue hasta la aplicación EMR sin servidor en EMR Studio siguiendo las instrucciones de Introducción a la consola.
Para acceder a la aplicación UIs y los registros específicos del motor para un trabajo en ejecución:
1. Elija un trabajo con un estado RUNNING.
2. Seleccione el trabajo en la página de Detalles de la aplicación o vaya a la página de Detalles del trabajo correspondiente a su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o la IU de Spark o la IU de Hive Tez para ir a la aplicación de IU correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para acceder a los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.
Para acceder a la aplicación UIs y los registros específicos del motor de un trabajo completado:
1. Elija un trabajo con un estado SUCCESS.
2. Seleccione el trabajo en la página Detalles de la aplicación de la aplicación o vaya a la página de Detalles del trabajo de su trabajo.
3. En el menú desplegable Mostrar IU, seleccione o el Servidor del historial de Spark o la IU persistente de Hive Tez para ir a la IU de la aplicación correspondiente a su tipo de trabajo.
4. Para acceder a los registros del motor de Spark, vaya a la pestaña Ejecutores de la IU de Spark y seleccione el enlace Registros del controlador. Para acceder a los registros del motor de Hive, seleccione el enlace Registros del DAG correspondiente en la IU de Hive Tez.

AWS CLI

Para acceder a la interfaz de usuario de la aplicación con el AWS CLI

Para generar una URL que pueda usar para acceder a la IU de su aplicación, tanto para los trabajos en ejecución como para los completados, llame a la API GetDashboardForJobRun.
```
aws emr-serverless get-dashboard-for-job-run /
--application-id <application-id> /
--job-run-id <job-id> 
```
La URL que genere es válida durante una hora.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Monitorización

Métricas del motor Spark