Versiones compatibles de Apache Kafka
Amazon Managed Streaming para Apache Kafka (Amazon MSK) es compatible con las siguientes versiones de Apache Kafka y Amazon MSK. La comunidad de Apache Kafka ofrece soporte para cada versión durante aproximadamente 12 meses después de su fecha de publicación. Para obtener más información, consulte la política de fin de vida (EOL) de Apache Kafka
La siguiente tabla enumera las versiones de Apache Kafka que admite Amazon MSK.
| Versión de Apache Kafka | Fecha de publicación de MSK | Fecha de finalización del soporte |
|---|---|---|
| 1.1.1 |
-- | 2024-06-05 |
| 2.1.0 |
-- | 2024-06-05 |
| 2.2.1 |
31/07/2019 | 8/6/2024 |
| 2.3.1 |
19/12/2019 | 8/6/2024 |
| 2.4.1 |
02/04/2020 | 8/6/2024 |
| 2.4.1.1 |
2020-09-09 | 8/6/2024 |
| 2.5.1 |
30/9/2020 | 8/6/2024 |
| 2.6.0 |
21/10/2020 | 11/9/2024 |
| 2.6.1 |
2021-01-19 | 11/9/2024 |
| 2.6.2 |
2021-04-29 | 11/9/2024 |
| 2.6.3 |
21/12/2021 | 11/9/2024 |
| 2.7.0 |
29/12/2020 | 11/9/2024 |
| 2.7.1 |
2021-05-25 | 11/9/2024 |
| 2.7.2 |
21/12/2021 | 11/9/2024 |
| 2.8.0 |
2021-05-19 | 11/9/2024 |
| 2.8.1 |
28/10/2022 | 11/9/2024 |
| 2.8.2, en niveles |
28/10/2022 | 14/01/2025 |
| 3.1.1 |
22/06/2022 | 11/9/2024 |
| 3.2.0 |
22/06/2022 | 11/9/2024 |
| 3.3.1 |
26/10/2022 | 11/9/2024 |
| 3.3.2 |
02/03/2023 | 11/9/2024 |
| 3.4.0 |
2023-05-04 | 2025-08-04 |
| 3.5.1 |
26/09/2023 | 23/10/2025 |
| 3.6.0 |
2023-11-16 | -- |
| 3.7.x |
2024-05-29 | -- |
| 3.8.x |
20/2/2025 | -- |
| 3.9.x |
2025-04-21 | -- |
| 4.0.x |
2025-05-16 | -- |
| 4.1.x |
15/10/2025 | -- |
Para obtener más información sobre la política de compatibilidad de versiones de Amazon MSK, consulte Política de soporte de las versiones de Amazon MSK.
Amazon MSK versión 4.1.x
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora admite Apache Kafka versión 4.1, que introduce Colas como una característica en versión preliminar, un nuevo Protocolo de reequilibrio de Flujos con acceso anticipado y Réplicas líderes elegibles (ELR). Junto con estas características, Apache Kafka versión 4.1 incluye diversas correcciones de errores y mejoras.
Un aspecto destacado clave de Kafka 4.1 es la introducción de Colas como característica en versión preliminar. Puede usar varios consumidores para procesar mensajes desde las mismas particiones de temas, lo que mejora el paralelismo y el rendimiento para cargas de trabajo que requieren entrega de mensajes punto a punto. El nuevo Protocolo de reequilibrio de Flujos se basa en el protocolo de reequilibrio de consumidores de Kafka 4.0 y amplía las capacidades de coordinación del agente para Kafka Streams, lo que permite asignaciones de tareas optimizadas y un reequilibrio más eficiente. Además, ELR ahora está habilitado de forma predeterminada para reforzar la disponibilidad.
Para obtener más detalles y una lista completa de mejoras y correcciones de errores, consulte las notas de la versión de Apache Kafka 4.1
Para comenzar a utilizar Apache Kafka 4.1 en Amazon MSK, seleccione la versión 4.1.x al crear un nuevo clúster mediante la Consola de administración de AWS, la AWS CLI o los SDK de AWS. También puede actualizar clústeres de MSK aprovisionados existentes mediante una actualización gradual en el lugar. Amazon MSK orquesta los reinicios de los agentes para mantener la disponibilidad y proteger los datos durante la actualización. La compatibilidad con Kafka versión 4.1 está disponible en todas las Regiones de AWS donde se ofrece Amazon MSK.
Amazon MSK versión 4.0.x
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora admite Apache Kafka versión 4.0. Esta versión incorpora los avances más recientes en administración de clústeres y rendimiento en MSK aprovisionado. Kafka 4.0 introduce un nuevo protocolo de reequilibrio de consumidores, ahora disponible de forma general, que ayuda a garantizar reequilibrios de grupos más fluidos y rápidos. Además, Kafka 4.0 requiere que los agentes y las herramientas utilicen Java 17, lo que aporta mejoras en seguridad y rendimiento, incluye diversas correcciones de errores y mejoras, y elimina progresivamente la administración de metadatos mediante Apache ZooKeeper.
Para obtener más información y una lista completa de mejoras y correcciones de errores, consulte las notas de la versión de Apache Kafka 4.0
Amazon MSK versión 3.9.x
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora admite Apache Kafka versión 3.9. Esta versión mejora la funcionalidad de almacenamiento por niveles, ya que permite conservar los datos almacenados por niveles cuando se desactiva el almacenamiento por niveles a nivel de tema. Las aplicaciones consumidoras pueden leer datos históricos desde el desplazamiento inicial del registro remoto (Rx), al tiempo que se mantienen desplazamientos de registro continuos entre el almacenamiento local y el remoto.
La versión 3.9 es la última que admite tanto ZooKeeper como KRaft para la administración de metadatos. Amazon MSK proporcionará compatibilidad ampliada para la versión 3.9 durante un período mínimo de dos años a partir de su fecha de lanzamiento.
Para obtener más detalles y una lista completa de mejoras y correcciones de errores, consulte las notas de la versión de Apache Kafka 3.9
Amazon MSK versión 3.8.x (recomendada)
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora admite Apache Kafka versión 3.8. Ahora puede crear nuevos clústeres con la versión 3.8 mediante el modo KRaft o ZooKeeper para la administración de metadatos, o actualizar los clústeres existentes basados en ZooKeeper para que utilicen la versión 3.8. Apache Kafka versión 3.8 incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las principales características nuevas se incluye la compatibilidad con la configuración del nivel de compresión. Esta versión permite optimizar aún más el rendimiento al usar tipos de compresión como lz4, zstd y gzip, ya que le permite cambiar el nivel de compresión predeterminado.
Para obtener más detalles y una lista completa de mejoras y correcciones de errores, consulte las notas de la versión de Apache Kafka 3.8.x
Versión 3.7.x Apache Kafka (con almacenamiento en niveles listo para producción)
La versión 3.7.x de Apache Kafka en MSK incluye compatibilidad para la versión 3.7.0 de Apache Kafka. Para utilizar la nueva versión 3.7.x, puede crear clústeres o actualizar los existentes. Con este cambio en el nombre de las versiones, ya no tendrá que adoptar versiones más recientes de corrección de parches, como la 3.7.1, cuando las publique la comunidad de Apache Kafka. Amazon MSK actualizará automáticamente la versión 3.7.x para que sea compatible con las futuras versiones de parche una vez que estén disponibles. Esto permite aprovechar las correcciones de seguridad y errores disponibles con las versiones de corrección de parches sin activar una actualización de versión. Estas versiones de corrección de parches que publica Apache Kafka no rompen la compatibilidad con la versión. Además, puede beneficiarse de las nuevas versiones de corrección de parches sin tener que preocuparse por los errores de lectura o escritura en las aplicaciones de sus clientes. Asegúrese de que las herramientas de automatización de infraestructura, como CloudFormation, estén actualizadas para adaptarse a este cambio en el nombre de las versiones.
Ahora, con la versión 3.7.x de Apache Kafka, Amazon MSK es compatible con el modo KRaft (Apache Kafka Raft). Al igual que con los nodos ZooKeeper, los controladores KRaft de Amazon MSK se incluyen sin costo adicional y no requieren configuración ni administración de su parte. Ahora, con las versiones 3.7.x de Apache Kafka, puede crear clústers en el modo KRaft o en el modo ZooKeeper. En el modo KRaft, puede agregar hasta 60 agentes y alojar más particiones por clúster, sin que se requiera un aumento en el límite, en comparación con la cuota de 30 agentes de los clústeres basados en ZooKeeper. Para obtener más información sobre KRaft en Amazon MSK, consulte Modo KRaft.
La versión 3.7.x de Apache Kafka también incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las mejoras más importantes, se incluyen las optimizaciones de detección de nodos principales para los clientes y las opciones de optimización del vaciado de los segmentos de registros. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.7.0 de Apache Kafka 3.7.0
Versión 3.6.0 de Apache Kafka (con almacenamiento en niveles listo para producción)
Para obtener información sobre la versión 3.6.0 de Apache Kafka (con almacenamiento en niveles listo para producción), consulte las notas de la versión
Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del cuórum en esta versión para garantizar la estabilidad.
Versión 3.5.1 de Amazon MSK
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.5.1 de Apache Kafka para clústeres nuevos y existentes. La versión 3.5.1 de Apache Kafka incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las características principales, se incluye la introducción de una nueva asignación de particiones compatible con los bastidores para los consumidores. Amazon MSK seguirá utilizando y administrando Zookeeper para la administración del cuórum en esta versión. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.5.1 de Apache Kafka.
Para obtener información sobre la versión 3.5.1 de Apache Kafka, consulte las notas de la versión
Versión 3.4.0 de Amazon MSK
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.4.0 de Apache Kafka para clústeres nuevos y existentes. La versión 3.4.0 de Apache Kafka incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las características principales, se incluye una corrección para mejorar la estabilidad al recuperar datos de la réplica más cercana. Amazon MSK seguirá utilizando y administrando Zookeeper para la administración del cuórum en esta versión. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.4.0 de Apache Kafka.
Para obtener información sobre la versión 3.4.0 de Apache Kafka, consulte las notas de la versión
Versión 3.3.2 de Amazon MSK
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.3.2 de Apache Kafka para clústeres nuevos y existentes. La versión 3.3.2 de Apache Kafka incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las características principales, se incluye una corrección para mejorar la estabilidad al recuperar datos de la réplica más cercana. Amazon MSK seguirá utilizando y administrando Zookeeper para la administración del cuórum en esta versión. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.3.2 de Apache Kafka.
Para obtener información sobre la versión 3.3.2 de Apache Kafka, consulte las notas de la versión
Versión 3.3.1 de Amazon MSK
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora es compatible con la versión 3.3.1 de Apache Kafka para clústeres nuevos y existentes. La versión 3.3.1 de Apache Kafka incluye varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las características más importantes, se incluyen mejoras en las métricas y en el particionador. Amazon MSK seguirá utilizando y gestionando Zookeeper para la gestión del cuórum en esta versión para garantizar la estabilidad. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de la versión 3.3.1 de Apache Kafka.
Para obtener información sobre la versión 3.3.1 de Apache Kafka, consulte las notas de la versión
Versión 3.1.1 de Amazon MSK
Amazon Managed Streaming para Apache Kafka (Amazon MSK) ahora es compatible con las versiones 3.1.1 y 3.2.0 de Apache Kafka para clústeres nuevos y existentes. Las versiones 3.1.1 y 3.2.0 de Apache Kafka incluyen varias correcciones de errores y nuevas características que mejoran el rendimiento. Entre las características más importantes, se incluyen mejoras en las métricas y en el uso de los ID de tema. MSK seguirá utilizando y administrando Zookeeper para la administración del cuórum en esta versión para garantizar la estabilidad. Para consultar la lista completa de mejoras y correcciones de errores, consulte las notas de las versiones 3.1.1 y 3.2.0 de Apache Kafka.
Para obtener información sobre las versiones 3.1.1 y 3.2.0 de Apache Kafka, consulte las notas de la versión 3.2.0
Almacenamiento por niveles de Amazon MSK, versión 2.8.2
Esta versión es una versión exclusiva para Amazon MSK de la versión 2.8.2 de Apache Kafka y es compatible con los clientes Apache Kafka de código abierto.
La versión 2.8.2 por niveles contiene una funcionalidad de almacenamiento por niveles que es compatible con las API introducidas en el KIP-405 para Apache Kafka
Versión 2.5.1 de Apache Kafka
La versión 2.5.1 de Apache Kafka incluye varias correcciones de errores y nuevas características, como el cifrado en tránsito para Apache ZooKeeper y los clientes de administración. Amazon MSK proporciona puntos de conexión TLS de ZooKeeper, que puede consultar con la operación DescribeCluster.
El resultado de la operación DescribeCluster incluye el nodo ZookeeperConnectStringTls, que muestra los puntos de conexión TLS de Zookeeper.
El siguiente ejemplo muestra el nodo ZookeeperConnectStringTls de la respuesta de la operación DescribeCluster:
"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"
Para obtener información sobre el uso del cifrado TLS con Zookeeper, consulte Uso de la seguridad TLS con Apache ZooKeeper.
Para obtener más información sobre la versión 2.5.1 de Apache Kafka, consulte las notas de la versión
Solución de errores de Amazon MSK, versión 2.4.1.1
Esta versión es una versión de corrección de errores exclusiva para Amazon MSK de la versión 2.4.1 de Apache Kafka. Esta versión de corrección de errores contiene una solución para el KAFKA-9752PreparingRebalance. Este problema afecta a los clústeres que ejecutan las versiones 2.3.1 y 2.4.1 de Apache Kafka. Esta versión contiene una corrección producida por la comunidad que está disponible en la versión 2.5.0 de Apache Kafka.
nota
Los clústeres de Amazon MSK que ejecutan la versión 2.4.1.1 son compatibles con cualquier cliente de Apache Kafka que sea compatible con la versión 2.4.1 de Apache Kafka.
Si prefiere usar Apache Kafka 2.4.1, le recomendamos que utilice la versión 2.4.1.1 con la corrección de errores de MSK para clústeres nuevos de Amazon MSK. Puede actualizar los clústeres existentes que ejecutan la versión 2.4.1 de Apache Kafka a esta versión para incorporar esta corrección. Para obtener información sobre cómo actualizar un clúster existente, consulte Actualización de la versión de Apache Kafka.
Para solucionar este problema sin actualizar el clúster a la versión 2.4.1.1, consulte la sección Grupo de consumidores atrapado en el estado PreparingRebalance de la guía Solución de problemas del clúster de Amazon MSK.
Versión 2.4.1 de Apache Kafka (utilice 2.4.1.1 en su lugar)
nota
Ya no puede crear un clúster de MSK con la versión 2.4.1 de Apache Kafka. En su lugar, puede usar Solución de errores de Amazon MSK, versión 2.4.1.1 con clientes compatibles con la versión 2.4.1 de Apache Kafka. Y si ya tiene un clúster de MSK con la versión 2.4.1 de Apache Kafka, le recomendamos que lo actualice para que utilice la versión 2.4.1.1 de Apache Kafka en su lugar.
KIP-392 es una de las principales propuestas de mejora de Kafka que se incluyen en la versión 2.4.1 de Apache Kafka. Esta mejora permite a los consumidores recuperar de la réplica más cercana. Para utilizar esta característica, establezca client.rack en las propiedades del consumidor en el ID de la zona de disponibilidad del consumidor. Un ejemplo de ID de AZ es use1-az1. Amazon MSK establece broker.rack en los ID de las zonas de disponibilidad de los agentes. También debe establecer la propiedad de configuración replica.selector.class en org.apache.kafka.common.replica.RackAwareReplicaSelector, que es una implementación de reconocimiento de bastidor proporcionada por Apache Kafka.
Cuando utiliza esta versión de Apache Kafka, las métricas en el nivel de monitoreo abierto PER_TOPIC_PER_BROKER aparecen solo después de que sus valores sean distintos de cero por primera vez. Para obtener más información acerca de este tema, consulte Supervisión de PER_TOPIC_PER_BROKER.
Para obtener información acerca de cómo buscar ID de zona de disponibilidad, consulte ID de AZ para sus recursos en la guía del usuario de AWS Resource Access Manager.
Para obtener información sobre los ajustes de las propiedades de configuración, consulte Configuración de Amazon MSK aprovisionado.
Para obtener más información acerca de KIP-392, consulte Allow Consumers to Fetch from Closest Replica
Para obtener más información sobre la versión 2.4.1 de Apache Kafka, consulte las notas de la versión
