View a markdown version of this page

AWS-Laufzeit für Apache Spark (emr-spark-8.1.0) - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS-Laufzeit für Apache Spark (emr-spark-8.1.0)

In der folgenden Tabelle sind die mit (emr-spark-8.1.0) verfügbaren Anwendungsversionen aufgeführt. AWS runtime for Apache Spark

Informationen zur Anwendungsversion
Anwendung Version
Spark 4.1.1-amzn-0
Iceberg 1.11.0-amzn-0
Delta 4.2.0-amzn-0
Hudi 1.1.1-amzn-0
Versionshinweise zu AWS-Runtime für Apache Spark (emr-spark-8.1.0)
  • Änderungen und Verbesserungen

    • Unterstützung für Python 3.12 — Amazon EMR Serverless mit emr-spark-8.1.0 Unterstützung von Python 3.12 für Apache Spark-Anwendungen.

    • Versionsprüfung benutzerdefinierter Image-Versionen — Wenn Sie ein benutzerdefiniertes Image mit dieser Version verwenden, überprüft EMR Serverless, ob es aus dem Basis-Image der entsprechenden Version erstellt wurde. Wenn die Release-Version des Images nicht mit der Release-Version der Anwendung übereinstimmt oder das Image keine Release-Version hat, wird die Anfrage abgelehnt. Die Nachricht identifiziert die zu verwendende Basis-Image-Version. Erstellen Sie Ihr benutzerdefiniertes Image aus dem passenden EMR Serverless-Basisimage neu.

    • Erhöhtes Datenlimit für serverlosen Speicher für Spark-Jobs — In dieser Version wird das Datenlimit für serverlose Speicherdaten für Spark-Jobs von 200 GiB auf 1 TiB angehoben.

    • Zusammengeführte Spark-Konfiguration — Ab sofort führt EMR Serverless die Spark-Konfiguration zusammenemr-spark-8.1.0, anstatt sie zu ersetzen. Es kombiniert den Konfigurationssatz auf Anwendungsebene mit dem Konfigurationssatz für einen einzelnen Job oder eine einzelne Sitzung. Wenn auf beiden Ebenen dieselbe Konfiguration festgelegt ist, hat der Job- oder Sitzungswert Vorrang. In ersetzt emr-spark-8.0.0 die Job- oder Sitzungskonfiguration die Konfiguration auf Anwendungsebene vollständig.

    • Fine-grained Zugriffskontrolle für Spark Connect-Sitzungen AWS Lake Formation — Eine detaillierte Zugriffskontrolle wird jetzt für interaktive PySpark Sitzungen unterstützt, die Sie über Apache Spark Connect ausführen. Die Berechtigungen auf Tabellen-, Zeilen-, Spalten- und Zellenebene, die Sie in Lake Formation definieren, werden für Ihre Sitzungsabfragen durchgesetzt. Weitere Informationen finden Sie unter Fine-grained Zugriffskontrolle mit AWS Lake Formation für Spark Connect-Sitzungen.

Erste Schritte

Um mit Apache Spark 4.1.1 zu beginnen, erstellen Sie mit der CLI eine serverlose EMR-Anwendung: AWS

aws emr-serverless create-application --type SPARK \ --release-label emr-spark-8.1.0 \ --name spark4-serverless \ --region us-east-1
Hinweise
  • Der --type Parameter für create-application Verwendungen SPARK (Großbuchstaben).