Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Amazon Managed Service para Apache Flink 1.15
Managed Service para Apache Flink admite las siguientes características nuevas en Apache 1.15.2:
| Característica | Descripción | Referencia de Apache FLIP |
|---|---|---|
| Async Sink | Un AWS marco colaborativo para crear destinos asíncronos que permite a los desarrolladores crear AWS conectores personalizados con menos de la mitad del esfuerzo anterior. Para obtener más información, consulte The Generic Asynchronous Base Sink |
FLIP-171: Async Sink |
| Receptor de Kinesis Data Firehose | AWSha creado un nuevo receptor Amazon Kinesis Firehose que utiliza el marco Async. | Receptor de Amazon Kinesis Data Firehose |
| Detención con punto de control | Detener con punto de control garantiza una operación de detención limpia y, lo que es más importante, respalda la semántica exactamente una vez para los clientes que confían en ella. | FLIP-34: Finalizar/suspender un trabajo con Savepoint |
| Desacoplamiento de Scala | Los usuarios ahora pueden aprovechar la API de Java desde cualquier versión de Scala, incluida Scala 3. Los clientes deberán incluir la biblioteca estándar de Scala que elijan en sus aplicaciones de Scala. | FLIP-28: Objetivo a largo plazo de hacer que Flink-Table funcione sin Scala |
| Scala | Véase el desacoplamiento de Scala más arriba | FLIP-28: Objetivo a largo plazo de hacer que Flink-Table funcione sin Scala |
| Métricas de conectores unificados | Flink ha definido métricas estándarnumRestarts en paralelo con fullRestarts para las Métricas de disponibilidad. |
FLIP-33: Estandarizar las métricas de los conectores y FLIP-179 |
| Creación de un punto de control de tareas terminadas | Esta característica está habilitada de forma predeterminada en Flink 1.15 y permite seguir realizando puntos de control incluso si algunas partes del gráfico del trabajo han terminado de procesar todos los datos, lo que podría ocurrir si contiene fuentes limitadas (por lotes). | FLIP-147: Puntos de control de soporte una vez finalizadas las tareas |
Cambios en Amazon Managed Service para Apache Flink con Apache Flink 1.15
Cuaderno de Studio
Managed Service para Apache Flink Studio ahora es compatible con Apache Flink 1.15. Managed Service para Apache Flink Studio utiliza los cuadernos de Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Puede obtener más información sobre Managed Service para Apache Flink Studio y cómo empezar en Uso de un cuaderno de Studio con Managed Service para Apache Flink.
Conector EFO
Al actualizar a la versión 1.15 de Managed Service para Apache Flink, asegúrese de utilizar el conector EFO más reciente, es decir, cualquier versión 1.15.3 o posterior. Para obtener más información sobre el motivo, consulte FLINK-29324.
Desacoplamiento de Scala
Comenzando con Flink 1.15.2, deberá incluir la biblioteca estándar de Scala que elija en sus aplicaciones de Scala.
Receptor de Kinesis Data Firehose
Al actualizar a la versión 1.15 de Managed Service para Apache Flink, asegúrese de utilizar la versión más reciente del receptor de Amazon Kinesis Data Firehose
Conectores Kafka
Al actualizar a Amazon Managed Service para Apache Flink para la versión 1.15 de Apache Flink, asegúrese de utilizar la versión más reciente de las API del conector Kafka. Apache Flink ha dejado de utilizar FlinkKafkaConsumer
Componentes
| Componente | Versión |
|---|---|
| Java | 11 (recomendado) |
| Scala | 2.12 |
| Managed Service para Apache Flink para el tiempo de ejecución de Flink (aws-kinesisanalytics-runtime) | 1.2.0 |
| AWS Conector Kinesis (flink-connector-kinesis) |
1.15.4 |
| Apache Beam (solo aplicaciones Beam) |
2.33.0, con Jackson versión 2.12.2 |
Problemas conocidos
La confirmación de Kafka en los puntos de control falla repetidamente tras el reinicio de un agente
Existe un problema conocido de código abierto con Apache Flink en el conector Apache Kafka de la versión 1.15 de Flink causado por un error crítico de código abierto en el cliente de Kafka en Kafka Client 2.8.1. Para obtener más información, consulte Kafka Commit on checkpointing fails repeatedly after a broker restart
Para evitar este problema, se recomienda que utilice Apache Flink 1.18 o versiones posteriores en Amazon Managed Service para Apache Flink.
