Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Tiempo de ejecución de AWS para Apache Spark (emr-spark-8.0.0)
En la siguiente tabla se enumeran las versiones de la aplicación disponibles con (emr-spark-8.0.0). AWS runtime for Apache Spark
| Aplicación | Versión |
|---|---|
| Spark | 4.0.2-amzn-0 |
| Iceberg | 1.10.1-amzn-0 |
| Delta | 4.0.0-amzn-1-spark |
| Hudi | 1.1.0-amzn-0 |
En la siguiente tabla se muestra la versión de Java predeterminada para las aplicaciones de (emr-spark-8.0.0). AWS runtime for Apache Spark
| Aplicación | Java/Amazon Versión Corretto |
|---|---|
| Spark | 17 |
Notas de la versión del motor de ejecución de AWS para Apache Spark (emr-spark-8.0.0)
-
Compatibilidad con Python 3.12: Amazon EMR Serverless
emr-spark-8.0.0es compatible con Python 3.12 para aplicaciones Apache Spark. -
Versión GA: esta es la versión de disponibilidad general que
AWS runtime for Apache Sparkincluye Apache Spark 4.0.2. Esta versión está disponible en EMR Serverless, EMR en EC2 y EMR en EKS. -
Disponibilidad regional: disponible en todas AWS las regiones en las que EMR Serverless está disponible, excepto en las regiones de Oriente Medio (Baréin) y Oriente Medio (Emiratos Árabes Unidos).
-
Limitaciones conocidas: el terminal seguro Spark Connect compatible con FGAC nativo no está disponible en esta versión.
-
Documentación adicional: para obtener documentación adicional sobre Apache Spark, consulte la documentación de la versión 4.0.2 de Apache Spark
.
Introducción
Para empezar con Apache Spark 4.0.2, cree una aplicación EMR sin servidor mediante la CLI: AWS
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
Notas
Esta versión reemplaza a la versión preliminar (emr-spark-8.0-preview). La versión preliminar estaba limitada a Spark 4.0.1 y carecía de FGAC, Hudi, conectores de datos y Persistent Spark History Server.
El
--typeparámetro decreate-applicationusosSPARK(en mayúscula).