Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
environnement d'exécution AWS pour Apache Spark (emr-spark-8.0.0)
Le tableau suivant répertorie les versions de l'application disponibles avec AWS runtime for Apache Spark (emr-spark-8.0.0).
| Application | Version |
|---|---|
| Spark | 4.0.2-amzn-0 |
| Iceberg | 1.10.1-amzn-0 |
| Delta | 4.0.0-amzn-1-spark |
| Hudi | 1.1.0-amzn-0 |
Le tableau suivant répertorie la version Java par défaut pour les applications dans AWS runtime for Apache Spark (emr-spark-8.0.0).
| Application | Java/Amazon Version Corretto |
|---|---|
| Spark | 17 |
Notes de mise à jour d'AWS Runtime pour Apache Spark (emr-spark-8.0.0)
-
Support de Python 3.12 — Amazon EMR Serverless
emr-spark-8.0.0prend en charge Python 3.12 pour les applications Apache Spark. -
Version GA — Il s'agit de la version de disponibilité générale
AWS runtime for Apache Sparkcontenant Apache Spark 4.0.2. Cette version est disponible sur EMR Serverless, EMR sur EC2 et EMR sur EKS. -
Disponibilité régionale - Disponible dans toutes les AWS régions où EMR Serverless est disponible, à l'exception des régions du Moyen-Orient (Bahreïn) et du Moyen-Orient (Émirats arabes unis).
-
Limitations connues - Le point de terminaison sécurisé Spark Connect avec support FGAC natif n'est pas disponible dans cette version.
-
Documentation supplémentaire - Pour de la documentation supplémentaire sur Apache Spark, consultez la documentation de la version 4.0.2 d'Apache Spark
.
Démarrage
Pour démarrer avec Apache Spark 4.0.2, créez une application EMR Serverless à l'aide de la CLI : AWS
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.0.0 \ --name spark4-serverless \ --region us-east-1
Remarques
Cette version remplace la version préliminaire (emr-spark-8.0-preview). La version préliminaire était limitée à Spark 4.0.1 et manquait de FGAC, de Hudi, de connecteurs de données et de Persistent Spark History Server.
Le
--typeparamètre pour lescreate-applicationutilisationsSPARK(majuscules).