Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
environnement d'exécution AWS pour Apache Spark (emr-spark-8.1.0)
Le tableau suivant répertorie les versions de l'application disponibles avec AWS runtime for Apache Spark (emr-spark-8.1.0).
| Application | Version |
|---|---|
| Spark | 4.1.1-amzn-0 |
| Iceberg | 1.11.0-amzn-0 |
| Delta | 4.2.0-amzn-0 |
| Hudi | 1.1.1-amzn-0 |
Notes de mise à jour d'AWS Runtime pour Apache Spark (emr-spark-8.1.0)
-
Changements et améliorations
-
Support de Python 3.12 — Amazon EMR Serverless
emr-spark-8.1.0prend en charge Python 3.12 pour les applications Apache Spark. -
Validation de la version de publication d'une image personnalisée : lorsque vous utilisez une image personnalisée avec cette version, EMR Serverless vérifie qu'elle a été créée à partir de l'image de base de la version correspondante. Si la version de publication de l'image ne correspond pas à la version de publication de l'application, ou si l'image n'a pas de version de publication, la demande est rejetée. Le message indique la version de l'image de base à utiliser. Reconstruisez votre image personnalisée à partir de l'image de base EMR Serverless correspondante.
-
Augmentation de la limite de données de stockage sans serveur pour les tâches Spark : cette version augmente la limite de données de stockage sans serveur pour les tâches Spark de 200 GiB à 1 TiB.
-
Configuration Spark fusionnée — En commençant par
emr-spark-8.1.0, EMR Serverless fusionne la configuration Spark au lieu de la remplacer. Il combine la configuration définie au niveau de l'application avec la configuration définie pour une tâche ou une session individuelle. Lorsque la même configuration est définie aux deux niveaux, la valeur de la tâche ou de la session est prioritaire. Dansemr-spark-8.0.0, la configuration de la tâche ou de la session remplace entièrement la configuration au niveau de l'application. -
Fine-grained contrôle d'accès pour les sessions Spark Connect : AWS Lake Formation le contrôle d'accès détaillé est désormais pris en charge pour les PySpark sessions interactives que vous exécutez via Apache Spark Connect. Les autorisations au niveau des tables, des lignes, des colonnes et des cellules que vous définissez dans Lake Formation sont appliquées à vos requêtes de session. Pour plus d’informations, consultez Fine-grained contrôle d'accès avec AWS Lake Formation pour les sessions Spark Connect.
-
Prise en main
Pour démarrer avec Apache Spark 4.1.1, créez une application EMR Serverless à l'aide de la CLI : AWS
aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.1.0 \ --name spark4-serverless \ --region us-east-1
Remarques
Le
--typeparamètre pour lescreate-applicationutilisationsSPARK(majuscules).