View a markdown version of this page

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.0.0) - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.0.0)

En la siguiente tabla se enumeran las versiones de la aplicación disponibles con (emr-spark-8.0.0). AWS runtime for Apache Spark

Información sobre la versión de la aplicación
Aplicación Versión
Spark 4.0.2-amzn-0
Iceberg 1.10.1-amzn-0
Delta 4.0.0-amzn-1-spark
Hudi 1.1.0-amzn-0

En la siguiente tabla se muestra la versión de Java predeterminada para las aplicaciones de (emr-spark-8.0.0). AWS runtime for Apache Spark

versiones Java predeterminadas de emr-spark-8.0.0
Aplicación Java/Amazon Versión Corretto
Spark 17
Notas de la versión del motor de ejecución de AWS para Apache Spark (emr-spark-8.0.0)
  • Compatibilidad con Python 3.12: Amazon EMR Serverless emr-spark-8.0.0 es compatible con Python 3.12 para aplicaciones Apache Spark.

  • Versión GA: esta es la versión de disponibilidad general que AWS runtime for Apache Spark incluye Apache Spark 4.0.2. Esta versión está disponible en EMR Serverless, EMR en EC2 y EMR en EKS.

  • Disponibilidad regional: disponible en todas AWS las regiones en las que EMR Serverless está disponible, excepto en las regiones de Oriente Medio (Baréin) y Oriente Medio (Emiratos Árabes Unidos).

  • Limitaciones conocidas: el terminal seguro Spark Connect compatible con FGAC nativo no está disponible en esta versión.

  • Documentación adicional: para obtener documentación adicional sobre Apache Spark, consulte la documentación de la versión 4.0.2 de Apache Spark.

Introducción

Para empezar con Apache Spark 4.0.2, cree una aplicación EMR sin servidor mediante la CLI: AWS

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
Notas
  • Esta versión reemplaza a la versión preliminar (emr-spark-8.0-preview). La versión preliminar estaba limitada a Spark 4.0.1 y carecía de FGAC, Hudi, conectores de datos y Persistent Spark History Server.

  • El --type parámetro de create-application usos SPARK (en mayúscula).