View a markdown version of this page

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.0.0) - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.0.0)

En la siguiente tabla se enumeran las versiones de la aplicación disponibles con (emr-spark-8.0.0). AWS runtime for Apache Spark

Información sobre la versión de la aplicación
Aplicación Versión
Spark 4.0.2-amzn-0
Iceberg 1.10.1-amzn-0
Delta 4.0.0-amzn-1-spark
Hudi 1.1.0-amzn-0
Notas de la versión del motor de ejecución de AWS para Apache Spark (emr-spark-8.0.0)
  • Versión GA: esta es la versión de disponibilidad general de Apache Spark 4.0.2. AWS runtime for Apache Spark Esta versión está disponible en EMR Serverless, EMR en EC2 y EMR en EKS.

  • Disponibilidad regional: disponible en todas AWS las regiones en las que EMR Serverless está disponible, excepto en las regiones de Oriente Medio (Baréin) y Oriente Medio (Emiratos Árabes Unidos).

  • Limitaciones conocidas: el terminal seguro Spark Connect con compatibilidad nativa con FGAC no está disponible en esta versión.

  • Documentación adicional: para obtener documentación adicional sobre Apache Spark, consulte la documentación de la versión 4.0.2 de Apache Spark.

Introducción

Para empezar con Apache Spark 4.0.2, cree una aplicación EMR sin servidor mediante la CLI: AWS

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
Notas
  • Esta versión reemplaza a la versión preliminar (emr-spark-8.0-preview). La versión preliminar estaba limitada a Spark 4.0.1 y carecía de FGAC, Hudi, conectores de datos y Persistent Spark History Server.

  • El --type parámetro de create-application usos SPARK (en mayúscula).