Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon EMR en las versiones 7.12.0 de EKS
Esta página describe la funcionalidad nueva y actualizada de Amazon EMR que es específica de la implementación de Amazon EMR en EKS. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión 7.12.0 de Amazon EMR en general, consulte Amazon EMR 7.12.0 en la Guía de versiones de Amazon EMR.
Amazon EMR en las versiones 7.12 de EKS
Las siguientes versiones 7.12.0 de Amazon EMR están disponibles para Amazon EMR en EKS. Seleccione una versión específica del EMR-7.12.0-xxxx para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.
Notas de la versión
Notas de la versión de Amazon EMR en EKS 7.12.0:
-
Aplicaciones compatibles: AWS SDK para Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Componentes compatibles ‐
emr-ddb,,emr-goodies,emr-s3-select,emrfs,hadoop-clienthudi,hudi-spark.icebergspark-kubernetes -
Clasificaciones de configuración compatibles
Para usar con StartJobRuny CreateManagedEndpoint APIs:
Clasificaciones Descripciones core-siteCambia los valores en el archivo de Hadoop
core-site.xml.emrfs-siteCambiar la configuración de EMRFS.
spark-metricsCambia los valores en el archivo de Spark
metrics.properties.spark-defaultsCambia los valores en el archivo de Spark
spark-defaults.conf.spark-envCambiar los valores en el entorno de Spark.
spark-hive-siteCambia los valores en el archivo de Spark
hive-site.xml.spark-log4j2Cambia los valores en el archivo de Spark
log4j2.properties.emr-job-submitterConfiguración del pod de remitente de trabajos.
Para su uso específico con CreateManagedEndpoint APIs:
Clasificaciones Descripciones jeg-configCambia los valores en el archivo
jupyter_enterprise_gateway_config.pyde Jupyter Enterprise Gateway.jupyter-kernel-overridesCambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un archivo XML de configuración para la aplicación como, por ejemplo,
spark-hive-site.xml. Para obtener más información, consulte Configuración de aplicaciones.
Cambios y características
La versión 7.12.0 de Amazon EMR en EKS incluye las siguientes funciones:
-
Vistas materializadas de iceberg: a partir de EMR 7.12.0, EMR Spark admite la creación y administración de vistas materializadas de iceberg (MV).
-
Acceso completo a la tabla desde Hudi: a partir de la versión 7.12.0, el EMR ahora admite el control del acceso total a la mesa (FTA) para Apache Hudi en Apache Spark en función de las políticas definidas en Lake Formation. Esta función permite realizar operaciones de lectura y escritura desde sus trabajos de Amazon EMR Spark en las tablas registradas de Lake Formation cuando el rol de trabajo tiene acceso total a las tablas.
-
Actualización de la versión de Iceberg: EMR 7.12.0 es compatible con la versión 1.10 de Apache Iceberg.
-
Registro para cargas de trabajo interactivas de Livy: a partir de EMR 7.12.0, EMR admite un registro exhaustivo de los componentes clave del sistema para mejorar la resolución de problemas en los trabajos de Livy Spark. Esta función proporcionará al servicio de EMR acceso a Livy y SecretAgent registros adicionales para simplificar la solución de problemas.
