Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.1.0)
En la siguiente tabla se enumeran las versiones de la aplicación disponibles con (emr-spark-8.1.0). AWS runtime for Apache Spark
| Aplicación | Versión |
|---|---|
| Spark | 4.1.1-amzn-0 |
| Iceberg | 1.11.0-amzn-0 |
| Delta | 4.2.0-amzn-0 |
| Hudi | 1.1.1-amzn-0 |
Notas de la versión de AWS Runtime para Apache Spark (emr-spark-8.1.0)
-
Cambios y mejoras
-
Compatibilidad con Python 3.12: Amazon EMR Serverless
emr-spark-8.1.0es compatible con Python 3.12 para aplicaciones Apache Spark. -
Validación de la versión de publicación de imagen personalizada: cuando utiliza una imagen personalizada en esta versión, EMR Serverless verifica que se creó a partir de la imagen base de la versión correspondiente. Si la versión de lanzamiento de la imagen no coincide con la versión de lanzamiento de la aplicación o la imagen no tiene ninguna versión de lanzamiento, se rechaza la solicitud. El mensaje identifica la versión de imagen base que se va a utilizar. Reconstruya su imagen personalizada a partir de la imagen base EMR Serverless correspondiente.
-
Aumento del límite de datos de almacenamiento sin servidor para los trabajos de Spark: esta versión aumenta el límite de datos de almacenamiento sin servidor para los trabajos de Spark de 200 GiB a 1 TiB.
-
Configuración de Spark fusionada: empezando por
emr-spark-8.1.0, EMR Serverless fusiona la configuración de Spark en lugar de reemplazarla. Combina el conjunto de configuraciones a nivel de aplicación con el conjunto de configuraciones para un trabajo o sesión individual. Cuando se establece la misma configuración en ambos niveles, el valor del trabajo o de la sesión tiene prioridad. Enemr-spark-8.0.0, la configuración de trabajo o sesión reemplaza por completo a la configuración de nivel de aplicación. -
Fine-grained control de acceso para las sesiones de Spark Connect: ahora se admite un control de acceso AWS Lake Formation detallado para PySpark las sesiones interactivas que se ejecutan a través de Apache Spark Connect. Los permisos de tabla, fila, columna y celda que defina en Lake Formation se aplican a las consultas de sesión. Para obtener más información, consulte Fine-grained control de acceso con AWS Lake Formation para sesiones de Spark Connect.
-
Introducción
Para empezar con Apache Spark 4.1.1, cree una aplicación EMR sin servidor mediante la CLI: AWS
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.1.0 \ --name spark4-serverless \ --region us-east-1
Notas
El
--typeparámetro decreate-applicationusosSPARK(en mayúscula).