El procesamiento del origen de Amazon Kinesis Data Streams no funciona durante la partición nueva. - Managed Service para Apache Flink

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

El procesamiento del origen de Amazon Kinesis Data Streams no funciona durante la partición nueva.

La implementación actual de FlinkkinesisConsumer no ofrece garantías sólidas de pedido entre particiones de Kinesis. Esto puede provocar que el procesamiento se desorganice durante la partición nueva de Kinesis Stream, en particular en el caso de las aplicaciones de Flink que sufren retrasos en el procesamiento. En algunas circunstancias, por ejemplo, los operadores de Windows basados en la hora de los eventos, es posible que los eventos se desechen debido a la demora resultante.

Diagram showing shards and shard consumers with time progression and trim horizon.

Este es un problema conocido en Open Source Flink. Hasta que se cuente con una corrección de conector, asegúrese de que sus aplicaciones de Flink no se queden atrás de las de Kinesis Data Streams al realizar la partición de nuevo. Al asegurarse de que sus aplicaciones de Flink toleran el retraso en el procesamiento, puede disminuir el impacto de un procesamiento desorganizado y el riesgo de pérdida de datos.