Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Versionen von Amazon EMR auf EKS 7.12.0
Auf dieser Seite werden die neuen und aktualisierten Funktionen für Amazon EMR beschrieben, die spezifisch für die Bereitstellung von Amazon EMR in EKS sind. Einzelheiten zur Ausführung von Amazon EMR auf Amazon EC2 und zur Amazon EMR-Version 7.12.0 im Allgemeinen finden Sie unter Amazon EMR 7.12.0 im Amazon EMR-Versionshandbuch.
Amazon EMR auf EKS 7.12-Versionen
Die folgenden Amazon EMR 7.12.0-Versionen sind für Amazon EMR auf EKS verfügbar. Wählen Sie eine bestimmte EMR-7.12.0-xxxx-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.
Versionshinweise
Versionshinweise für Amazon EMR auf EKS 7.12.0:
-
Unterstützte Anwendungen – AWS SDK für Java 2.35.5 and 1.12.792, Apache Spark 3.5.6-amzn-1, Apache Hudi 1.0.2-amzn-1, Apache Iceberg 1.10.0-amzn-0, Delta 3.3.2-amzn-1, Apache Spark RAPIDS 25.04.0-amzn-0, Apache Flink 1.20.0-amzn-6
-
Unterstützte Komponenten ‐
emr-ddb,,emr-goodies,emr-s3-select,,emrfs,hadoop-client,hudi,hudi-spark.icebergspark-kubernetes -
Unterstützte Konfigurationsklassifizierungen
Zur Verwendung mit StartJobRunund CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen core-siteÄndern Sie die Werte in der
core-site.xml-Hadoop-Datei.emrfs-siteÄndert die EMRFS-Einstellungen.
spark-metricsÄndern Sie die Werte in der
metrics.properties-Spark-Datei.spark-defaultsÄndern Sie die Werte in der
spark-defaults.conf-Spark-Datei.spark-envÄndert die Werte in der Spark-Umgebung.
spark-hive-siteÄndern Sie die Werte in der
hive-site.xml-Spark-Datei.spark-log4j2Ändern Sie die Werte in der
log4j2.properties-Spark-Datei.emr-job-submitterKonfiguration für den Auftragsübermittler-Pod.
Speziell zur Verwendung mit CreateManagedEndpoint APIs:
Klassifizierungen Beschreibungen jeg-configÄndern Sie die Werte in der Jupyter-Enterprise-Gateway-Datei
jupyter_enterprise_gateway_config.py.jupyter-kernel-overridesÄndern Sie den Wert für das Kernel-Image in der Jupyter-Kernel-Spec-Datei.
Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B.
spark-hive-site.xmlWeitere Informationen finden Sie unter Konfigurieren von Anwendungen.
Änderungen und Funktionen
Die folgenden Funktionen sind in der Version 7.12.0 von Amazon EMR auf EKS enthalten:
-
Iceberg Materialized Views — Ab EMR 7.12.0 unterstützt EMR Spark die Erstellung und Verwaltung von Iceberg Materialized Views (MV).
-
Hudi Full Table Access — Ab EMR 7.12.0 unterstützt EMR jetzt Full Table Access (FTA) -Steuerung für Apache Hudi in Apache Spark auf der Grundlage Ihrer in Lake Formation definierten Richtlinien. Diese Funktion ermöglicht Lese- und Schreibvorgänge von Ihren Amazon EMR Spark-Jobs aus in Lake Formation registrierten Tabellen, wenn die Jobrolle vollen Tabellenzugriff hat.
-
Iceberg-Versionsupgrade — EMR 7.12.0 unterstützt Apache Iceberg Version 1.10.
-
Protokollierung für interaktive Livy-Workloads — Ab EMR 7.12.0 unterstützt EMR eine umfangreiche Protokollierung für wichtige Systemkomponenten, um die Fehlerbehebung bei Livy Spark-Jobfehlern zu verbessern. Diese Funktion bietet dem EMR-Service Zugriff auf zusätzliche Livy- und SecretAgent Logdateien, um die Fehlerbehebung zu vereinfachen.
