Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon EMR nelle versioni EKS 7.11.0
Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 7.11.0 in generale, consulta Amazon EMR 7.11.0 nella Amazon EMR Release Guide.
Amazon EMR nelle versioni EKS 7.11
Le seguenti versioni di Amazon EMR 7.11.0 sono disponibili per Amazon EMR su EKS. Seleziona una versione specifica di EMR-7.11.0-xxxx per visualizzare ulteriori dettagli, come il relativo tag di immagine del contenitore.
Note di rilascio
Note di rilascio per Amazon EMR su EKS 7.11.0:
-
Applicazioni supportate ‐ AWS SDK per Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-0, Apache Hudi 1.0.2-amzn-0, Apache Iceberg 1.9.1-amzn-0, Delta 3.3.2-amzn-0, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-5
-
Componenti supportati ‐
emr-ddb,,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark.icebergspark-kubernetes -
Classificazioni di configurazione supportate
Da usare con StartJobRune CreateManagedEndpoint APIs:
Classificazioni Descrizioni core-siteModifica i valori nel file Hadoop
core-site.xml.emrfs-siteModifica le impostazioni EMRFS.
spark-metricsModifica i valori nel file Spark
metrics.properties.spark-defaultsModifica i valori nel file Spark
spark-defaults.conf.spark-envModifica i valori nell'ambiente Spark.
spark-hive-siteModifica i valori nel file Spark
hive-site.xml.spark-log4j2Modifica i valori nel file Spark
log4j2.properties.emr-job-submitterConfigurazione per il pod del mittente di processi.
Da utilizzare specificamente con CreateManagedEndpoint APIs:
Classificazioni Descrizioni jeg-configModifica i valori nel file
jupyter_enterprise_gateway_config.pyJupyter Enterprise Gateway.jupyter-kernel-overridesModifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio
spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Modifiche e funzionalità
Le seguenti modifiche sono incluse nella versione 7.11.0 di Amazon EMR su EKS:
Amazon EMR su EKS ora supporta l'integrazione con SageMaker Unified Studio tramite una soluzione Livy gestita che include:
-
Sessioni gestite: nuovo tipo di risorsa di sessione interattiva che fornisce un endpoint HTTPS personalizzato per l'esecuzione di sessioni Spark sul cluster EKS tramite Unified Studio SageMaker
-
Lake Formation Integration: supporta il controllo dell'accesso ai dati con due modalità a) Controllo degli accessi granulare b) Accesso completo alla tabella (modalità compatibilità)
-
Gestione delle identità: opzioni di autenticazione flessibili a) Controllo degli accessi basato sui ruoli IAM b) controllo degli accessi basato sui ruoli.
-
Sessioni utente in background con integrazione: supporta carichi di lavoro Spark di lunga durata per continuare a funzionare anche dopo la disconnessione degli utenti da SageMaker Unified Studio, supportando sessioni fino a 90 giorni
