Analyze logs with CloudWatch Logs Insights - Managed Service para Apache Flink
Ejecutar una consulta de muestraRevisión de consultas de ejemplo

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Analyze logs with CloudWatch Logs Insights

Tras añadir una opción de registro de CloudWatch a la aplicación, tal como se describe en la sección anterior, puede utilizar CloudWatch Logs Insights para consultar las secuencias de registro en busca de eventos o errores específicos.

CloudWatch Logs Insights permite buscar y analizar de forma interactiva los datos de registro en Registros de CloudWatch.

Para obtener información sobre cómo comenzar a usar CloudWatch Logs Insights, consulte Análisis de los datos de registro con CloudWatch Logs Insights.

Ejecutar una consulta de muestra

En esta sección se describe cómo ejecutar una consulta de muestra de CloudWatch Logs Insights.

Requisitos previos

  • Los grupos de registro y flujos de registro existentes se establecieron en CloudWatch Logs.

  • Los registros se almacenan en CloudWatch Logs.

Si se utiliza servicios como AWS CloudTrail Amazon Route 53 o Amazon VPC, probablemente ya haya configurado los registros de dichos servicios para ir a CloudWatch Logs. Para obtener más información acerca de cómo enviar registros a CloudWatch, consulte Introducción a CloudWatch Logs.

Las consultas en CloudWatch Logs Insights devuelven un conjunto de campos de eventos de registro, o el resultado de una agregación matemática u otra operación realizada en eventos de registro. Esta sección muestra una consulta que devuelve una lista de eventos de registro.

Cómo ejecutar una consulta de muestra de CloudWatch Logs Insights

  1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

  2. En el panel de navegación, elija Información.

  3. El editor de consultas cerca de la parte superior de la pantalla contiene una consulta predeterminada que devuelve los 20 eventos de registro más recientes. Encima del editor de consultas, seleccione un grupo de registro que se va a consultar.

    Al seleccionar un grupo de registro, CloudWatch Logs Insights detecta automáticamente los campos de los datos en el grupo de registro y los muestra en Campos detectados en el panel derecho. También muestra un gráfico de barras de eventos de registro en este grupo de registro con el paso del tiempo. Este gráfico de barras muestra la distribución de los eventos en el grupo de registro que coincide con la consulta y el intervalo de tiempo, no solo los eventos que se muestran en la tabla.

  4. Elija Ejecutar consulta.

    Aparecen los resultados de la consulta. En este ejemplo, los resultados son los últimos 20 eventos de registro de cualquier tipo.

  5. Para ver todos los campos para uno de los eventos de registro devueltos, seleccione la flecha que aparece a la izquierda de ese evento de registro.

Para obtener más información sobre cómo ejecutar y modificar las consultas de CloudWatch Logs Insights, consulte Ejecutar y modificar una consulta de muestra.

Revisión de consultas de ejemplo

Esta sección contiene consultas de ejemplo de CloudWatch Logs Insights para analizar los registros de aplicaciones de Managed Service para Apache Flink. Estas consultas buscan varios ejemplos de condiciones de error y sirven como plantillas para escribir consultas que encuentren otras condiciones de error.

nota

Sustituya la región (us-west-2), el identificador de cuenta (012345678901) y el nombre de la aplicación (yourApplication) en los siguientes ejemplos de consultas por la región de la aplicación y el identificador de cuenta.

Operaciones de análisis: distribución de las tareas

La siguiente consulta de CloudWatch Logs Insights devuelve el número de tareas que Apache Flink Job Manager distribuye entre los administradores de tareas. Debe configurar el período de tiempo de la consulta para que coincida con la ejecución de un trabajo, de modo que la consulta no devuelva tareas de trabajos anteriores. Para obtener más información acerca del Paralelismo, consulte Implementación del escalado de aplicaciones. 

fields @timestamp, message
| filter message like /Deploying/
| parse message " to flink-taskmanager-*" as @tmid
| stats count(*) by @tmid
| sort @timestamp desc
| limit 2000

La siguiente consulta de CloudWatch Logs Insights devuelve las subtareas asignadas a cada administrador de tareas. La cantidad total de subtareas es la suma del paralelismo de cada tarea. El paralelismo de las tareas se deriva del paralelismo de los operadores y, de forma predeterminada, es el mismo que el paralelismo de la aplicación, a menos que se modifique en el código especificando setParallelism. Para obtener información sobre cómo configurar el paralelismo de operadores, consulte Configuración del paralelismo: nivel del operador en la documentación de Apache Flink.

fields @timestamp, @tmid, @subtask
| filter message like /Deploying/
| parse message "Deploying * to flink-taskmanager-*" as @subtask, @tmid
| sort @timestamp desc
| limit 2000

Para obtener más información acerca de la programación de tareas, consulte Trabajos y programación en la documentación de Apache Flink.

Operaciones de análisis: cambio en el paralelismo

La siguiente consulta de CloudWatch Logs Insights devuelve los cambios en el paralelismo de una aplicación (por ejemplo, debido al escalado automático). Esta consulta también devuelve los cambios manuales en el paralelismo de la aplicación. Para obtener más información sobre el escalado automático, consulte Uso del escalado automático en Managed Service para Apache Flink.

fields @timestamp, @parallelism
| filter message like /property: parallelism.default, /
| parse message "default, *" as @parallelism
| sort @timestamp asc

Errores de análisis: acceso denegado

La siguiente consulta de CloudWatch Logs Insights devuelve Access Denied registros.

fields @timestamp, @message, @messageType
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /AccessDenied/
| sort @timestamp desc

Errores de análisis: no se encontró la fuente o el receptor

La siguiente consulta de CloudWatch Logs Insights devuelve ResourceNotFound registros. Se generan ResourceNotFound registros si no se encuentra un origen o un receptor de Kinesis.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /ResourceNotFoundException/
| sort @timestamp desc

Errores de análisis: errores relacionados con las tareas de la aplicación

La siguiente consulta de CloudWatch Logs Insights devuelve los registros de errores relacionados con las tareas de una aplicación. Estos registros se generan si el estado de una aplicación cambia de RUNNING a RESTARTING.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to RESTARTING/
| sort @timestamp desc

En el caso de las aplicaciones que utilizan la versión 1.8.2 de Apache Flink y versiones anteriores, los errores relacionados con las tareas harán que el estado de la aplicación cambie de RUNNING a FAILED. Cuando utilice Apache Flink 1.8.2 y versiones anteriores, utilice la siguiente consulta para buscar errores relacionados con las tareas de la aplicación:

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to FAILED/
| sort @timestamp desc