View a markdown version of this page

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.1.0) - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.1.0)

En la siguiente tabla se enumeran las versiones de la aplicación disponibles con (emr-spark-8.1.0). AWS runtime for Apache Spark

Información sobre la versión de la aplicación
Aplicación Versión
Spark 4.1.1-amzn-0
Iceberg 1.11.0-amzn-0
Delta 4.2.0-amzn-0
Hudi 1.1.1-amzn-0
Notas de la versión de AWS Runtime para Apache Spark (emr-spark-8.1.0)
  • Cambios y mejoras

    • Compatibilidad con Python 3.12: Amazon EMR Serverless emr-spark-8.1.0 es compatible con Python 3.12 para aplicaciones Apache Spark.

    • Validación de la versión de publicación de imagen personalizada: cuando utiliza una imagen personalizada en esta versión, EMR Serverless verifica que se creó a partir de la imagen base de la versión correspondiente. Si la versión de lanzamiento de la imagen no coincide con la versión de lanzamiento de la aplicación o la imagen no tiene ninguna versión de lanzamiento, se rechaza la solicitud. El mensaje identifica la versión de imagen base que se va a utilizar. Reconstruya su imagen personalizada a partir de la imagen base EMR Serverless correspondiente.

    • Aumento del límite de datos de almacenamiento sin servidor para los trabajos de Spark: esta versión aumenta el límite de datos de almacenamiento sin servidor para los trabajos de Spark de 200 GiB a 1 TiB.

    • Configuración de Spark fusionada: empezando poremr-spark-8.1.0, EMR Serverless fusiona la configuración de Spark en lugar de reemplazarla. Combina el conjunto de configuraciones a nivel de aplicación con el conjunto de configuraciones para un trabajo o sesión individual. Cuando se establece la misma configuración en ambos niveles, el valor del trabajo o de la sesión tiene prioridad. Enemr-spark-8.0.0, la configuración de trabajo o sesión reemplaza por completo a la configuración de nivel de aplicación.

    • Fine-grained control de acceso para las sesiones de Spark Connect: ahora se admite un control de acceso AWS Lake Formation detallado para PySpark las sesiones interactivas que se ejecutan a través de Apache Spark Connect. Los permisos de tabla, fila, columna y celda que defina en Lake Formation se aplican a las consultas de sesión. Para obtener más información, consulte Fine-grained control de acceso con AWS Lake Formation para sesiones de Spark Connect.

Introducción

Para empezar con Apache Spark 4.1.1, cree una aplicación EMR sin servidor mediante la CLI: AWS

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.1.0 \ --name spark4-serverless \ --region us-east-1
Notas
  • El --type parámetro de create-application usos SPARK (en mayúscula).