Migrating AWS Glue für Spark-Jobs zu AWS Glue Version 6.0

Apache Spark-Upgrade von 3.5.6 in AWS Glue 5.1 auf 4.1.1 in AWS Glue 6.0.

Scala-Upgrade von 2.12.18 auf 2.13.17.

Python-Upgrade von 3.11 auf 3.13.

Open Table Formats (OTF) wurde auf Hudi 1.1.1, Iceberg 1.11.0 und Delta Lake 4.2.0 aktualisiert.

Version 3 des Iceberg-Formats — Erweitert Datentypen und bestehende Metadatenstrukturen um neue Funktionen, darunter:

Spark Declarative Pipelines (SDP) — Ein neues deklaratives Framework für die Definition von End-to-End-Daten-Pipelines mithilfe von SQL oder DataFrame API mit Unterstützung für Streaming-Tabellen und materialisierte Ansichten. Weitere Informationen finden Sie unter Deklarative Spark-Pipelines.

Spark Connect für interaktive Sitzungen — Ermöglicht Thin-Client-Konnektivität zu AWS Glue interaktiven Sitzungen über das Spark Connect-Protokoll und unterstützt Remote-Entwicklungsworkflows.

Arrow-native Python UDFs/UDTFs — Verbesserte Leistung für benutzerdefinierte Python-Funktionen, die das spaltenförmige Apache Arrow-Format nativ verwenden.

Customer-managed oder vom Dienst generierte virtuelle Python-Umgebung (--python-virtual-env) — Sie können Ihr eigenes Python-Venv erstellen und bereitstellen, das zur Laufzeit AWS Glue an Spark-Treiber und -Executoren angehängt wird und so die volle Kontrolle über das Abhängigkeitsmanagement bietet. Wenn bestehende Jobs auf AWS Glue 6.0 migriert werden, generiert diese virtuelle Umgebung bei AWS Glue Bedarf automatisch. Weitere Informationen finden Sie unter Verwenden von virtuellen Python-Umgebungen mit AWS Glue.

Streaming-Verbesserungen — Real-time Modus für statusfreies Streaming mit Latenz im Millisekundenbereich. Weitere Informationen finden Sie unter Aktivierung des Echtzeitmodus für Streaming-Jobs.

Connector-Upgrades — Amazon Redshift, MongoDB, Snowflake und andere Konnektoren wurden aktualisiert. Vollständige Versionsdetails finden Sie unterAnhang C: Konnektor-Upgrades.

Der ANSI-Modus ist in Spark 4.1 standardmäßig aktiviert. Operationen, die zuvor bei einem Überlauf NULL zurückgegeben haben (z. B. Ganzzahl-Arithmetik, Umwandlungsoperationen), lösen jetzt Ausnahmen aus. Legt fest, spark.sql.ansi.enabled=false dass das vorherige Verhalten wiederhergestellt wird.

Spark Declarative Pipelines (SDP) ist eine neue Funktion mit eingeschränkter Unterstützung für bestimmte SQL-Konstrukte. Aktuelle Einschränkungen finden Sie in der Deklarative Spark-Pipelines Dokumentation.

In AWS Glue 6.0 erstellte Iceberg v3-Tabellen können von Athena SQL nicht gelesen werden (Fehler:Cannot read unsupported version 3). Verwenden Sie Iceberg v2 für die Engine-übergreifende Kompatibilität mit Athena.

Python 3.13 entfernt mehrere veraltete Module und ändert das Verhalten einiger Standardbibliotheksfunktionen. Informationen zur Kompatibilität finden Sie im Python 3.13-Migrationsleitfaden.

AWS SDK for Java 2.x-Kompatibilität mit --user-jars-first — AWS Glue 6.0 beinhaltet AWS SDK for Java 2.x Version 2.44.6. Wenn Sie den --user-jars-first Job-Parameter mit einer benutzerdefinierten JAR verwenden, die eine ältere Version des AWS SDK for Java 2.x bündelt, schlägt Ihr Job möglicherweise mit einem java.lang.NoSuchFieldError oder einem ähnlichen Fehler fehl. Diese Fehler treten auf, wenn dem in Ihrer benutzerdefinierten JAR enthaltenen SDK Klassen, Felder oder Methoden fehlen, von denen die AWS Glue Laufzeit abhängt. Um dieses Problem zu vermeiden, stellen Sie sicher, dass jedes benutzerdefinierte JAR, das Sie bereitstellen, AWS SDK for Java 2.x Version 2.44.6 oder höher --user-jars-first verwendet.

EMRFS wurde entfernt. S3A ist das einzige S3-Dateisystem in 6.0. AWS Glue Die com.amazon.ws.emr.hadoop.fs.EmrFileSystem Klasse ist nicht mehr verfügbar. Jobs, die s3:// Pfade verwenden, verwenden S3A automatisch. Wenn Sie zuvor EMRFS-specific Konfigurationen festgelegt haben (z. B.fs.s3.consistent.*), entfernen Sie diese.

AWS SDK for Java v1 wurde entfernt. Nur AWS SDK v2 (2.44.6) ist verfügbar. Jobs, zu denen com.amazonaws.services.* Pakete importiert werden, müssen software.amazon.awssdk.services.* migriert werden.

Scala wurde von 2.12 auf 2.13 aktualisiert. Benutzerdefinierte JARs, die für Scala 2.12 kompiliert wurden, funktionieren nicht. Kompilieren Sie erneut gegen Scala 2.13.17. Wichtigste Änderungen: JavaConversions entfernt (verwendenCollectionConverters), MutableList entfernt (verwendenListBuffer), parallel Sammlungen erfordern einen separaten Import.

Änderungen an der Spark 4.1-API:

CreateSession API-Validierung — Zusätzliche Validierung der Sitzungsparameter für interaktive Sitzungen. Ungültige Konfigurationen, die zuvor stillschweigend akzeptiert wurden, geben jetzt möglicherweise Fehler zurück.

getResolvedOptionsVerhaltensänderung — Der Abgleich von Argumentpräfixen ist standardmäßig deaktiviert (allow_abbrev=False). Verwenden Sie den vollständigen Argumentnamen oder übergeben allow_abbrev=True Sie angetResolvedOptions(), um das alte Verhalten wiederherzustellen.

Wählen Sie in AWS Glue Studio Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 inGlue version.

Wählen Sie in der API 6.0 im GlueVersion-Parameter in der UpdateJob-API-Operation aus.

Wählen Sie in der Konsole Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) in der Glue version aus.

Wählen Sie in AWS Glue Studio Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 inGlue version.

Wählen Sie in der API 6.0 im GlueVersion-Parameter in der CreateJob-API-Operation aus.

[Scala] Kompilieren Sie benutzerdefinierte JARs erneut mit Scala 2.13.17. Ersetzen Sie JavaConversions durch CollectionConverters.

[Python] Aktualisiere den Code für Python 3.13-Kompatibilität. Entfernen Sie die Verwendung veralteter Module (z. B.,imp,cgi). cgitb

[Python] Aktualisieren Sie die Boto3-Referenzen von 1.40 auf 1.42.

[Spark SQL] Überprüfen Sie Abfragen auf Auswirkungen auf den ANSI-Modus. spark.sql.ansi.enabled=falseBei Bedarf hinzufügen.

[SDK] Ersetzen Sie alle AWS SDK v1-Importe (com.amazonaws.*) durch SDK v2 (software.amazon.awssdk.*).

[S3] EMRFS-specific Konfigurationen entfernen. S3A ist jetzt der Standard- und einzige S3-Anschluss.

[Abhängigkeiten] Update --extra-jars auf Versionen, die für Scala 2.13 und Spark 4.1 kompiliert wurden.

S3-Dateisystem: EMRFS ist nicht mehr verfügbar. S3A ist der einzige S3-Anschluss. Wenn Sie es zuvor eingestellt habenspark.hadoop.fs.s3a.endpoint.region, verwenden Sie es weiterhin. Falls nicht festgelegt, stellen Sie sicher, dass Ihr VPC-Endpunkt oder Ihre Netzwerkkonfiguration es S3A ermöglicht, die richtige Region aufzulösen.

Scala-Binärkompatibilität: AWS Glue 6.0 verwendet Scala 2.13. Alle mit Scala --extra-jars 2.12 kompilierten Dateien schlagen mit oder fehl. NoSuchMethodError ClassNotFoundException Kompilieren Sie alle benutzerdefinierten JARs neu. Scala/Java

Verhaltensänderungen bei Spark SQL:

Python-Version: Python 3.13 ist die Laufzeit. Die --additional-python-modules Funktion funktioniert weiterhin. Erwägen Sie eine Migration zu, um die --python-virtual-env vollständige Abhängigkeitskontrolle zu erhalten. Die Schritte zur Migration finden Sie unterVerwenden von virtuellen Python-Umgebungen mit AWS Glue.

AWS SDK: Nur SDK v2 ist verfügbar. Wenn Ihre Skripte boto3 (Python) verwenden, ist keine Änderung erforderlich — boto3 funktioniert weiterhin. Für Scala/Java Jobs, die das AWS SDK direkt verwenden, migrieren Sie zu v2-APIs.

Migrationshandbuch: Spark Core auf der Apache Spark-Website

Migrationshandbuch: SQL, Datasets und DataFrame auf der Apache Spark-Website

Migrationshandbuch: Strukturiertes Streaming auf der Apache Spark-Website

Aktualisierung PySpark auf der Apache Spark-Website

Informationen zu Migrationsschritten im Zusammenhang mit AWS Glue 5.0 auf AWS Glue 5.1 finden Sie unterMigration von AWS Glue 5,0 bis AWS Glue 5.1.

Informationen zu Migrationsschritten im Zusammenhang mit AWS Glue 4.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 4.0 bis AWS Glue 5.0.

Informationen zu Migrationsschritten im Zusammenhang mit AWS Glue 3.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 3.0 bis AWS Glue 5.0.

Informationen zu Migrationsschritten im Zusammenhang mit AWS Glue 2.0 auf AWS Glue 5.0 finden Sie unterMigration von AWS Glue 2,0 bis AWS Glue 5.0.

Informationen zum letzten Migrationsschritt finden Sie unterMigration von AWS Glue 5.1 bis AWS Glue 6.0.

Anhang B: Aktualisierungen von JDBC-Treibern

Anhang C: Konnektor-Upgrades

Anhang D: Verbesserungen des Open-Table-Formats

Iceberg wurde auf Version 1.11.0 aktualisiert und bietet volle Unterstützung für die Spezifikationen von Apache Iceberg Version 3.

VARIANT-Datentyp mit Varianten-Shredding für optimierte halbstrukturierte Datenabfragen.

Nanosecond-precision Zeitstempel.

Geodatentypen (Geometrie und Geografie).

Hudi wurde auf Version 1.1.1 aktualisiert.

Fortgesetzte Unterstützung für FTA-Lese- und Schreibzugriff auf AWS Lake Formation registrierte Tabellen.

Delta Lake wurde auf 4.2.0 aktualisiert.

Fortgesetzte Unterstützung für FTA-Lese- und Schreibzugriff auf AWS Lake Formation registrierte Tabellen.

Die systemeigenen Tabellenverschlüsselungsschlüssel von Iceberg werden nicht unterstützt.

Iceberg-Transformationen mit mehreren Argumenten werden nicht unterstützt.

Die neuen Iceberg v3-Datentypen werden nur mit Spark unterstützt. DataFrames Diese Funktionen funktionieren nicht mit DynamicFrames.

Visual ETL in AWS Glue Studio unterstützt die neuen Iceberg v3-Datentypen nicht. Um diese neuen Funktionen zu verwenden, verwenden Sie die AWS Glue API, das SDK oder AWS CLI. Alternativ können Sie Visual ETL in Amazon SageMaker Unified Studio verwenden, unterstützt von AWS Glue.

Fine-grained Die Zugriffskontrolle (FGAC) wird mit VARIANT-Spalten nicht unterstützt.

Mit erstellte Iceberg-Tabellen 'format-version'='3' können von Athena SQL nicht gelesen werden (Fehler:Cannot read unsupported version 3). Verwenden Sie Iceberg v2 für die Engine-übergreifende Kompatibilität mit Athena.