View a markdown version of this page

environnement d'exécution AWS pour Apache Spark (emr-spark-8.0.0) - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

environnement d'exécution AWS pour Apache Spark (emr-spark-8.0.0)

Le tableau suivant répertorie les versions de l'application disponibles avec AWS runtime for Apache Spark (emr-spark-8.0.0).

Informations sur la version de l'application
Application Version
Spark 4.0.2-amzn-0
Iceberg 1.10.1-amzn-0
Delta 4.0.0-amzn-1-spark
Hudi 1.1.0-amzn-0
Notes de mise à jour d'AWS Runtime pour Apache Spark (emr-spark-8.0.0)

  • Version GA — Il s'agit de la version de disponibilité générale AWS runtime for Apache Spark contenant Apache Spark 4.0.2. Cette version est disponible sur EMR Serverless, EMR sur EC2 et EMR sur EKS.

  • Disponibilité régionale - Disponible dans toutes les AWS régions où EMR Serverless est disponible, à l'exception des régions du Moyen-Orient (Bahreïn) et du Moyen-Orient (Émirats arabes unis).

  • Limitations connues - Le point de terminaison sécurisé Spark Connect avec support FGAC natif n'est pas disponible dans cette version.

  • Documentation supplémentaire - Pour de la documentation supplémentaire sur Apache Spark, consultez la documentation de la version 4.0.2 d'Apache Spark.

Démarrage

Pour démarrer avec Apache Spark 4.0.2, créez une application EMR Serverless à l'aide de la CLI : AWS 

aws emr-serverless create-application --type SPARK \
  --release-label emr-spark-8.0.0 \
  --name spark4-serverless \
  --region us-east-1
Remarques

  • Cette version remplace la version préliminaire (emr-spark-8.0-preview). La version préliminaire était limitée à Spark 4.0.1 et manquait de FGAC, de Hudi, de connecteurs de données et de Persistent Spark History Server.

  • Le --type paramètre pour les create-application utilisations SPARK (majuscules).