Amazon Managed Service para Apache Flink 1.18 - Managed Service para Apache Flink
Cambios en Amazon Managed Service para Apache Flink con Apache Flink 1.15 ComponentesProblemas conocidos

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Amazon Managed Service para Apache Flink 1.18

Managed Service para Apache Flink ahora es compatible con Apache Flink 1.18.1 Conozca las nuevas características y cambios clave introducidos con la compatibilidad de Managed Service para Apache Flink con Apache Flink 1.18.1.

nota

Si se utiliza una versión anterior compatible de Apache Flink y desea actualizar sus aplicaciones actuales a Apache Flink 1.18.1, se puede hacer mediante las actualizaciones de versión integradas de Apache Flink. Con las actualizaciones de versión locales, se retiene la trazabilidad de las aplicaciones con respecto a un único ARN en todas las versiones de Apache Flink, incluidas las instantáneas, los registros, las métricas, las etiquetas, las configuraciones de Flink y más. Se puede utilizar esta función en el estado RUNNING y READY. Para obtener más información, consulte Uso de actualizaciones de versión locales para Apache Flink.

Características compatibles con las referencias de la documentación de Apache Flink
Características admitidas Descripción Referencia de la documentación de Apache Flink
Conector Opensearch Este conector incluye un receptor que ofrece garantías al menos una vez. github: Conector Opensearch
Conector de Amazon DynamoDB Este conector incluye un receptor que ofrece garantías al menos una vez. Receptor de Amazon DynamoDB
Conector de MongoDB Este conector incluye una fuente y un receptor que ofrece garantías al menos una vez. Conector de MongoDB
Desconecta Hive con el planificador Flink

Se puedes usar el dialecto de Hive directamente sin tener que cambiar la JAR adicional.

 FLINK-26603: Decouple Hive with Flink planner
Deshabilita WAL en RockSDBWriteBatchWrapper de forma predeterminada

Esto proporciona tiempos de recuperación más rápidos.

 FLINK-32326: Disable WAL in RocksDBWriteBatchWrapper by default

Mejora del rendimiento de la agregación de marcas de agua cuando se habilita la alineación de marcas de agua

Mejora el rendimiento de la agregación de marcas de agua cuando se habilita la alineación de marcas de agua y se agrega el indicador de referencia relacionado.

 FLINK-32524: Watermark aggregation performance
Preparación de la alineación de marcas de agua para su uso en producción Elimina el riesgo de que trabajos grandes sobrecarguen a JobManager FLINK-32548: Make watermark alignment ready

RateLimitingStratey configurable para un receptor asíncrono

RateLimitingStrategy permite configurar la decisión de qué escalar, cuándo escalar y cuánto escalar.

 FLIP-242: Introduce configurable RateLimitingStrategy for Async Sink

Búsqueda masiva de estadísticas de tablas y columnas

 Rendimiento de consultas mejorado. FLIP-247: Bulk fetch of table and column statistics for given partitions

Para ver la documentación de la versión 1.18.1 de Apache Flink, consulte el anuncio de la versión 1.18.1 de Apache Flink.

Akka fue reemplazada por Pekko

Apache Flink sustituyó a Akka por Pekko en Apache Flink 1.18. Este cambio es totalmente compatible en Managed Service para Apache Flink desde Apache Flink 1.18.1 y versiones posteriores. No es necesario modificar las aplicaciones como resultado de este cambio. Para obtener más información, consulte FLINK-32468: Replace Akka by Pekko.

Compatibilidad de ejecución del tiempo de ejecución PyFlink en modo de subproceso

Este cambio de Apache Flink introduce un nuevo modo de ejecución para el tiempo de ejecución de Pyflink: modo de proceso. El modo de proceso ahora puede ejecutar funciones definidas por el usuario de Python en el mismo subproceso en lugar de hacerlo en un proceso independiente.

Correcciones de errores adaptados

Amazon Managed Service para Apache Flink adapta correcciones de la comunidad de Flink para problemas críticos. Esto significa que el tiempo de ejecución es diferente al de la versión 1.18.1 de Apache Flink. La siguiente es una lista de las correcciones de errores que hemos adaptado:

Correcciones de errores adaptados
Enlace de JIRA de Apache Flink Descripción
FLINK-33863 Esta solución corrige el problema que se produce cuando ocurre un error al restaurar el estado de las instantáneas comprimidas.
FLINK-34063 Esta solución corrige el problema que se produce cuando los operadores de origen pierden las divisiones cuando la compresión de instantáneas está habilitada. Apache Flink ofrece compresión opcional (de forma predeterminada: desactivada) para todos los puntos de control y puntos de almacenamiento. Apache Flink identificó un error en Flink 1.18.1 que impedía restaurar correctamente el estado del operador cuando se activaba la compresión de instantáneas. Esto podría provocar la pérdida de datos o la imposibilidad de restaurarlos desde el punto de control.
FLINK-35069 Esta solución corrige el problema que se produce cuando una tarea de Flink se atasca y se activa un temporizador al final de una ventana.
FLINK-35097 Esta solución corrige el problema de los registros duplicados en un conector del sistema de archivos de la API de tablas con el formato RAW.
FLINK-34379 Esta solución corrige el problema de un OutofMemoryError al habilitar el filtrado de tabla dinámica.
FLINK-28693 Esta solución corrige el problema de que la API de tablas no podía generar un gráfico si la marca de agua tenía una expresión ColumnBy.
FLINK-35217 Esta solución corrige el problema de un punto de control dañado durante un modo de error de trabajo específico de Flink.
Componente Versión
Java 11 (recomendado)
Scala

Desde la versión 1.15, Flink no incluye Scala. Como referencia, MSF Flink 1.18 se ha verificado con Scala 3.3 (LTS).
Managed Service para Apache Flink para el tiempo de ejecución de Flink (aws-kinesisanalytics-runtime) 1.2.0
Conector AWS Kinesis (flink-connector-kinesis)[Fuente] 4.2.0-1.18
Conector AWS Kinesis (flink-connector-kinesis)[Receptor] 4.2.0-1.18
Apache Beam (solo aplicaciones Beam)

A partir de la versión 2.57.0. Para obtener más información, consulte Compatibilidad de versiones de Flink.

Amazon Managed Service para Apache Flink Studio

Studio utiliza los cuadernos de Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Se requiere una actualización del intérprete Flink de Zeppelin para permitir la compatibilidad con Flink 1.18. Este trabajo está programado con la comunidad de Zeppelin y actualizaremos estas notas cuando esté finalizado. Se puede seguir utilizando Flink 1.15 con Amazon Managed Service para Apache Flink Studio. Para obtener más información, consulte Creación de un cuaderno de Studio.

Marca de agua el tiempo de inactividad incorrecto cuando se contrapresiona una subtarea

Existe un problema conocido en la generación de marcas de agua que provocaba la contrapresión de una subtarea, que se solucionó en Flink 1.19 y versiones posteriores. Esto puede aparecer como un aumento en el número de registros atrasados cuando se contrapresiona un gráfico de tareas de Flink. Se recomienda que actualice a la versión principal más reciente de Flink para esta solución. Para obtener más información, consulte Incorrect watermark idleness timeout accounting when subtask is backpressured/blocked.