AWS runtime for Apache Spark(emr-Spark-8.0-Vorschau) - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS runtime for Apache Spark(emr-Spark-8.0-Vorschau)

In der folgenden Tabelle sind die mit (emr-spark-8.0-preview) verfügbaren Anwendungsversionen aufgeführt. AWS runtime for Apache Spark

Informationen zur Anwendungsversion
Anwendung Version
Spark 4.0.1-amzn-0
AWS runtime for Apache SparkVersionshinweise für (emr-spark-8.0-preview)

  • Vorschauversion — Dies ist eine Vorabversion von Apache Spark 4.0.1. AWS runtime for Apache Spark Diese Vorschau ist nur auf EMR Serverless verfügbar.

  • Regionale Verfügbarkeit — Diese Vorabversion ist in allen AWS Regionen verfügbar, in denen EMR Serverless verfügbar ist, außer in China und AWS GovCloud (USA).

  • Informationen zur Anwendungsversion — Diese Version wird mit den folgenden Anwendungsversionen ausgeliefert:

    • AWS SDK for Java 2.35.5, 1.12.792

    • Python 3.9, 3.11, 3.12

    • Skala 2.13.16

    • AmazonCloudWatchAgent 1.300034.0-amzn-0

    • Delta 4.0.0-amzn-0-spark

    • Eisberg 1.10.0-amzn-spark-0

    • Diese Version wird standardmäßig mit Amazon Corretto 17 (basierend auf OpenJDK) für Anwendungen geliefert, die Corretto 17 (JDK 17) unterstützen.

  • Einschränkungen der Vorschauversion — Die folgenden Funktionen sind in dieser Vorschauversion nicht verfügbar:

    • Interaktive Funktionen und Integrationsfunktionen: SageMaker Unified Studio, EMR Studio-Integration, Spark Connect, Livy und JupyterEnterpriseGateway werden nicht unterstützt.

    • Tabellenformate und Zugriffskontrolle: Hudi, Delta Universal Format und Fine-Grained Access Control (FGAC) mit Filtern und Operatoren auf Zeilen- oder Spaltenebene werden nicht unterstützt. DDL/DML

    • Datenkonnektoren:, emr-Dynamodb- und Spark-Redshift-Konnektoren spark-sql-kinesis sind nicht verfügbar.

    • History Server: Der Persistent Spark History Server ist in dieser Vorschauversion nicht verfügbar. Benutzer können weiterhin auf die Live-Benutzeroberfläche von Spark zugreifen, um aktive serverlose Jobs in Echtzeit zu überwachen und zu debuggen.

    • Spezialisierte Funktionen: Materialisierte Ansichten sind nicht verfügbar.

  • Vorschaufunktionen — Sie können die folgenden Funktionen in dieser Vorschauversion testen. Diese Vorschauversion wird für Produktions-Workloads nicht empfohlen:

    • SQL-Funktionen: ANSI-SQL-Modus mit strengerer Typbehandlung, SQL PIPE-Syntax (|>) für Verkettungsoperationen, VARIANT-Datentyp für halbstrukturierte JSON-Daten, SQL-Scripting mit Kontrollflussanweisungen und Sitzungsvariablen sowie benutzerdefinierte SQL-Funktionen.

    • Streaming-Verbesserungen: Arbitrary Stateful Processing API v2 mit transformWithState Operator, State Data Source Reader für abfragbaren Streaming-Status (experimentell) und erweiterter Statusspeicher mit verbessertem RocksDB-Changelog-Checkpointing.

    • Support für Tabellenformate: Apache Iceberg v3 mit Unterstützung des VARIANT-Datentyps, Integration von AWS S3 Tables und Full Table Access (FTA) AWS Lake Formation für Iceberg-, Delta Lake- und Hive-Tabellen.

  • Zusätzliche Dokumentation — Zusätzliche Apache Spark-Dokumentation finden Sie in der Apache Spark 4.0.1-Release-Dokumentation.

Erste Schritte

Um mit der Vorschauversion von Apache Spark 4.0.1 zu beginnen, erstellen Sie mit der CLI eine serverlose EMR-Anwendung: AWS 

aws emr-serverless create-application --type spark \
  --release-label emr-spark-8.0-preview \
  --region us-east-1 --name spark4-preview