View a markdown version of this page

Konfigurieren Sie IPv6-Subnetze für EMR-Anwendungen ohne Server - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie IPv6-Subnetze für EMR-Anwendungen ohne Server

Mit Amazon EMR Serverless können Sie Ihre Apache Spark- und Apache Hive-Jobs über IPv6 in Ihrer Amazon Virtual Private Cloud (Amazon VPC) ausführen. Wenn Sie Dual-Stack (IPv4 und IPv6) bereitstellen oder IPv6-only Subnetze, EMR Serverless führt Ihre Jobs im Adressierungsmodus dieser Subnetze aus. Ihre Jobs können dann IPv6-Endpunkte in Ihrer VPC und externe IPv6-Endpunkte erreichen. IPv6-only Subnetze werden automatisch über IPv6 ausgeführt. Für Dual-Stack-Subnetze aktivieren Sie IPv6 mit einer Konfigurationseigenschaft, wie unter beschrieben Konfiguration der IPv6-Eigenschaften.

Die wichtigsten Vorteile verstehen

Die Ausführung serverloser EMR-Anwendungen über IPv6 bietet die folgenden Vorteile.

  • Größerer Adressraum — IPv6 bietet einen viel größeren Adressraum als IPv4, wodurch Sie eine Erschöpfung der IPv4-Adressen in VPCs und Subnetzen vermeiden können, in denen viele Worker ausgeführt werden.

  • Dual-stack und IPv6-only netzwerkend — Führen Sie Jobs in Dual-Stack-Subnetzen aus, die sowohl IPv4 als auch IPv6 verwenden, oder auf IPv6-only Subnetze, um Netzwerkstandards und Compliance-Anforderungen zu erfüllen, die IPv6 erfordern.

  • Konnektivität zu IPv6-Endpunkten — Ihre Spark- und Hive-Jobs können IPv6-Endpunkte und -Dienste in Ihrer VPC und externe IPv6-Endpunkte erreichen.

  • Flexible Aktivierung — IPv6-only Subnetze laufen automatisch über IPv6. Für Dual-Stack-Subnetze aktivieren Sie IPv6 mit einer einzigen Konfigurationseigenschaft, sodass Sie steuern können, wann IPv6 gilt.

Wie EMR Serverless den Adressierungsmodus bestimmt

EMR Serverless bestimmt den Adressierungsmodus Ihrer Anwendung anhand der von Ihnen bereitgestellten Subnetze.

  • IPv4-only Subnetze — Die Anwendung läuft IPv4-only, genau wie zuvor. Es gibt keine Verhaltensänderung für bestehende Anwendungen.

  • Dual-stack Subnetze — Die Anwendung läuft IPv4-only es sei denn, Sie aktivieren IPv6 mit der Konfigurationseigenschaft, die unter beschrieben ist Konfiguration der IPv6-Eigenschaften. Wenn Sie IPv6 aktivieren, kann die Anwendung sowohl IPv4 als auch IPv6 verwenden.

  • IPv6-only Subnetze — Die Anwendung läuft IPv6-only. Dies ist in allen Release-Versionen verfügbar.

Wenn Sie mehr als ein Subnetz angeben, führt EMR Serverless die gesamte Anwendung in dem einen Adressierungsmodus aus, den jedes Subnetz in der Gruppe unterstützt. Wenn die Subnetze keinen gemeinsamen Modus haben, lehnt EMR Serverless die Anfrage ab. Die folgenden Fälle beschreiben die Arten von Subnetzen, die eine Gruppe in beliebiger Anzahl und Kombination enthalten kann.

  • IPv4-only und IPv6-only — EMR Serverless lehnt das Set mit einem Validierungsfehler ab.

  • IPv6-only und Dual-Stack — Das Set läuft IPv6-only, einschließlich aller Dual-Stack-Subnetze im Set. Stellen Sie sicher, dass jedes Subnetz in der Gruppe, einschließlich aller Dual-Stack-Subnetze, die Voraussetzungen erfüllt Erfüllung der VPC- und Subnetzvoraussetzungen.

  • IPv4-only und Dual-Stack — Das Set läuft IPv4-only, einschließlich aller Dual-Stack-Subnetze im Set.

EMR Serverless bewertet bei jedem Start der Anwendung den Adressierungsmodus anhand der aktuellen Subnetze und der aktuellen Konfiguration. Eine laufende Anwendung behält den Modus bei, mit dem sie gestartet wurde, sodass eine Änderung erst beim nächsten Start wirksam wird.

Für die Definitionen von IPv4-only, Dual-Stack und IPv6-only Subnetze, siehe Subnetze für Ihre VPC in der Amazon Virtual Private Cloud-Benutzerhandbuch.

Erfüllung der VPC- und Subnetzvoraussetzungen

Sie sind dafür verantwortlich, Ihre VPC und Subnetze so zu konfigurieren, dass der IPv6-Verkehr Ihre Datenspeicher und die AWS Dienste, die Ihre Jobs nutzen. Konfigurieren Sie Folgendes in Ihrer eigenen VPC, bevor Sie IPv6-Jobs ausführen.

Verwenden Sie das Amazon Virtual Private Cloud-Benutzerhandbuch für die schrittweisen Anweisungen.

  • Ordnen Sie ein IPv6 Classless zu Inter-Domain Routing-Block (CIDR) mit dem Subnetz. Jeder Dual-Stack oder IPv6-only Das Subnetz muss über einen IPv6-CIDR-Block verfügen. Siehe Fügen Sie einen IPv6-CIDR-Block zu Ihrem Subnetz hinzu oder entfernen Sie ihn und IPv6-Unterstützung für Ihre VPC in der Amazon Virtual Private Cloud-Benutzerhandbuch.

  • Aktivieren Sie die automatische Zuweisung einer IPv6-Adresse für das Subnetz. Das Subnetz muss automatisch IPv6-Adressen zuweisen, damit Ihre Anwendung IPv6-Konnektivität erhält. Siehe Ändern Sie die IP-Adressierungsattribute Ihres Subnetzes in der Amazon Virtual Private Cloud-Benutzerhandbuch.

  • Aktiviere DNS64 (DNS-based IPv6-to-IPv4 Übersetzung) im Subnetz und Bereitstellung eines ausgehenden NAT64-Pfads (Netzwerkadressübersetzung von IPv6 nach IPv4) (IPv6-only). Ein IPv6-only Die Anwendung benötigt dies, um zu erreichen IPv4-only Endpunkte (z. B. Dienste, die noch keine IPv6-Adresse veröffentlichen). Aktivieren Sie DNS64 im Subnetz und leiten Sie das synthetisierte weiter 64:ff9b::/96 Datenverkehr über ein NAT-Gateway, das NAT64 ausführt. Eine Dual-Stack-Anwendung kann Folgendes erreichen IPv4-only Endpunkte über IPv4 und erfordert dies nicht. Siehe DNS64 und NAT64 und NAT-Gateways in der Amazon Virtual Private Cloud-Benutzerhandbuch.

  • Stellen Sie ein Internet-Gateway nur für ausgehenden privaten IPv6-Verkehr bereit. Damit ein privates Subnetz ausgehende IPv6-Verbindungen initiieren kann, ohne eingehende Verbindungen aus dem Internet zu akzeptieren, fügen Sie ein Internet-Gateway nur für ausgehenden Verkehr und ein ::/0 Route dorthin. Sehen Sie Aktivieren Sie ausgehenden IPv6-Verkehr mithilfe eines Internet-Gateways, das nur für ausgehenden Verkehr bestimmt ist in der Amazon Virtual Private Cloud-Benutzerhandbuch.

  • Erlauben Sie den ausgehenden IPv6-Verkehr, den Ihre Jobs benötigen, in Ihren Sicherheitsgruppen. Es gelten die bestehenden EMR-Sicherheitsgruppenregeln für Serverless. Informationen zur allgemeinen Einrichtung von VPC und Sicherheitsgruppen finden Sie unter Konfiguration des VPC-Zugriffs für EMR-Anwendungen ohne Server, um eine Verbindung zu Daten herzustellen.

Konfiguration von IPv6 für Ihre Anwendung

Sie konfigurieren IPv6, wenn Sie eine Anwendung erstellen, oder ändern es später, indem Sie eine vorhandene Anwendung aktualisieren. In beiden Fällen leitet EMR Serverless den Adressierungsmodus von den Subnetzen in ab --network-configuration, wie beschrieben unter Wie EMR Serverless den Adressierungsmodus bestimmt. Für Dual-Stack-Subnetze aktivieren Sie auch IPv6 mit der unter beschriebenen Eigenschaft Konfiguration der IPv6-Eigenschaften; für IPv6-only Subnetze, keine Eigenschaft ist erforderlich.

So erstellen Sie eine Anwendung

Das folgende Verfahren erstellt eine Spark-Anwendung, die Dual-Stack-Subnetze verwendet und IPv6 aktiviert. Bevor Sie beginnen, stellen Sie sicher, dass jedes Subnetz, das Sie verwenden möchten, die folgenden Anforderungen erfüllt Erfüllung der VPC- und Subnetzvoraussetzungen.

Folgendes AWS CLI Der Befehl erstellt eine Spark-Anwendung mit Dual-Stack-Subnetzen und aktiviert IPv6:

aws emr-serverless create-application \ --type SPARK \ --name my-application-name \ --release-label emr-7.14.0 \ --network-configuration '{ "subnetIds": ["subnet-id-1", "subnet-id-2"], "securityGroupIds": ["security-group-id"] }' \ --runtime-configuration '[ { "classification": "spark-defaults", "properties": { "spark.emr-serverless.networking.ipv6.enabled": "true" } } ]' \ --region AWS_REGION

Ersetzen Sie die folgenden Werte:

  • my-application-name — Der Name, den Sie Ihrer Anwendung geben möchten.

  • subnet-id-1, subnet-id-2 — Die IDs der Dual-Stack-Subnetze, die Sie verwenden möchten.

  • security-group-id — Die ID der Sicherheitsgruppe, die Sie anhängen möchten.

  • AWS_REGION — Die AWS-Region wo Sie die Anwendung erstellen möchten.

In Dual-Stack-Subnetzen verwendet der Job standardmäßig IPv4. Damit Spark IPv6 bevorzugt, legen Sie die Engine-Preference-Eigenschaften fest, die unter beschrieben sind Konfiguration der IPv6-Eigenschaften. Verwenden Sie für eine Hive-Anwendung --type HIVE, das hive-site Klassifizierung und die hive.emr-serverless.networking.ipv6.enabled Eigentum.

Anmerkung

Für IPv6-only Subnetze, weglassen --runtime-configuration. Die Anwendung wird automatisch über IPv6 ausgeführt, und Sie legen die Eigenschaften für die Aktivierung oder die Engine-Einstellungen nicht fest.

Um eine vorhandene Anwendung zu aktualisieren

  1. Beenden Sie die Anwendung, falls sie läuft.

  2. Aktualisieren Sie die Anwendung, während sie sich in der CREATED oder STOPPED Staat. Geben Sie die Subnetze an, in die Sie einsteigen möchten --network-configuration, und fügen Sie für Dual-Stack-Subnetze die Enablement-Eigenschaft in --runtime-configuration. Parameter, die Sie nicht einbeziehen, behalten ihre aktuellen Werte bei.

    Folgendes AWS CLI Der Befehl aktualisiert die Anwendung mit den neuen Subnetzen und der Enablement-Eigenschaft:

    aws emr-serverless update-application \ --application-id application-id \ --network-configuration '{ "subnetIds": ["subnet-id-1", "subnet-id-2"], "securityGroupIds": ["security-group-id"] }' \ --runtime-configuration '[ { "classification": "spark-defaults", "properties": { "spark.emr-serverless.networking.ipv6.enabled": "true" } } ]' \ --region AWS_REGION

    Ersetzen Sie die folgenden Werte:

    • application-id — Die ID der Anwendung, die Sie aktualisieren möchten.

    • subnet-id-1, subnet-id-2 — Die IDs der Subnetze, die Sie verwenden möchten.

    • security-group-id — Die ID der Sicherheitsgruppe, die Sie anhängen möchten.

    • AWS_REGION — Die AWS-Region der Anwendung.

  3. Starten Sie die Anwendung. EMR Serverless wendet beim Start den Adressierungsmodus an.

Konfiguration der IPv6-Eigenschaften

Die folgenden Eigenschaften steuern IPv6 für Ihre Anwendung und Jobs. Legen Sie die Aktivierungseigenschaft auf Anwendungsebene in fest runtimeConfiguration. Legen Sie die Eigenschaften für die Engine-Voreinstellungen auf Jobebene fest, in sparkSubmitParameters für Spark oder mit --hiveconf für Hive.

Engine Eigenschaft Wo hast du es eingestellt Standard Gilt für Hinweise
Spark spark.emr-serverless.networking.ipv6.enabled spark-defaults (Anwendung) runtimeConfiguration) false Dual-stack Aktiviert IPv6 in Dual-Stack-Subnetzen.
Spark spark.emr-serverless.driverEnv.SPARK_PREFER_IPV6 sparkSubmitParameters (Beruf) false Dual-stack (Optional) Sorgt dafür, dass der Spark-Treiber IPv6 bevorzugt. Wird automatisch aktiviert IPv6-only Subnetze. Nicht einschalten IPv4-only Subnetze.
Spark spark.executorEnv.SPARK_PREFER_IPV6 sparkSubmitParameters (Beruf) false Dual-stack (Optional) Sorgt dafür, dass Spark-Executoren IPv6 bevorzugen. Wird automatisch aktiviert IPv6-only Subnetze. Nicht einschalten IPv4-only Subnetze.
Hive hive.emr-serverless.networking.ipv6.enabled hive-site (Anwendung) runtimeConfiguration) false Dual-stack Entspricht der Spark-Aktivierungseigenschaft für Hive-Anwendungen.
Hive JAVA_TOOL_OPTIONS=-Djava.net.preferIPv6Addresses=true --hiveconf (Beruf) Nicht gesetzt Dual-stack (Optional) Sorgt dafür, dass Hive IPv6 bevorzugt. Wird automatisch aktiviert IPv6-only Subnetze. Nicht einschalten IPv4-only Subnetze.

In Dual-Stack-Subnetzen sind sowohl IPv4 als auch IPv6 verfügbar, und die Engine verwendet standardmäßig IPv4. Damit die Engine IPv6 bevorzugt, legen Sie die Engine-Preference-Eigenschaften für Ihre Engine fest. Ein IPv6-only In Subnetzen legt EMR Serverless die IPv6-Präferenz für Sie fest, sodass Sie diese Eigenschaften nicht festlegen. Ein IPv4-only Subnetze: Legen Sie die Engine-Preference-Eigenschaften nicht fest. IPv6 ist nicht verfügbar. Wenn Sie also IPv6 bevorzugen, schlägt der Job fehl.

Im folgenden Beispiel wird die Spark-Engine so eingerichtet, dass sie IPv6 in einem Auftrag bevorzugt sparkSubmitParameters.

--conf spark.emr-serverless.driverEnv.SPARK_PREFER_IPV6=true --conf spark.executorEnv.SPARK_PREFER_IPV6=true
Wichtig

Erzwingen Sie nicht den IPv4-Stack in der JVM (z. B. durch folgende Einstellung -Djava.net.preferIPv4Stack=true in spark.driver.extraJavaOptions oder spark.executor.extraJavaOptions) in einem beliebigen Adressierungsmodus.

Für weitere Informationen zum Deklarieren runtimeConfiguration auf Anwendungsebene finden Sie unter Standardanwendungskonfiguration für EMR Serverless. Weitere Hinweise zum Übergeben von Motorkonfigurationen finden Sie unter Verwenden Sie Spark-Konfigurationen, wenn Sie EMR-Serverless-Jobs ausführen und Verwenden von Hive-Konfigurationen, wenn Sie EMR-Serverless-Jobs ausführen.

Überlegungen und Einschränkungen

  • Der Adressierungsmodus kann nicht über die API festgelegt werden. Um ihn zu ändern, ändern Sie Ihre Subnetze (oder spark.emr-serverless.networking.ipv6.enabled Opt-in-Eigenschaft für Dual-Stack-Subnetze) und starten Sie die Anwendung neu.

  • IPv4-only und IPv6-only Subnetze können nicht in einer Anwendung gemischt werden.

  • Ihr Jobcode und alle SDKs, Treiber oder Endpunkte, die er verwendet, müssen IPv6 unterstützen, wenn die Anwendung ausgeführt wird IPv6-only. Mit EMR Serverless erhalten Sie IPv6-Konnektivität. Ihr Anwendungscode oder die Endpunkte von Drittanbietern werden dadurch nicht geändert.

Fehlerbehebung

Dieses Thema hilft Ihnen bei der Diagnose und Behebung häufiger IPv6-Netzwerkprobleme mit EMR-Anwendungen, einschließlich DNS-Auflösungsfehlern, fehlenden automatisch zugewiesenen IPv6-Adressen, unerwarteter IPv4-Nutzung und Subnetzvalidierungsfehlern. Die folgenden Symptome können bei der Ausführung von IPv6-Aufträgen auftreten, und wie Sie mit den einzelnen Aufträgen umgehen können.

Fehler bei der DNS-Auflösung (UnknownHostException)

Das kann passieren auf einem IPv6-only Anwendung, wenn im Subnetz DNS64 oder ein NAT64-Ausgangspfad fehlt, sodass Jobs die benötigten Endpunkte nicht erreichen können. Aktivieren Sie DNS64 und stellen Sie in jedem Subnetz der Anwendung ein NAT-Gateway für NAT64 bereit, wie weiter oben in diesem Thema unter beschrieben Erfüllung der VPC- und Subnetzvoraussetzungen.

Dual-stack Subnetz weist IPv6-Adressen nicht automatisch zu

Dies kann passieren, wenn einem Subnetz ein IPv6-CIDR-Block zugeordnet ist, IPv6-Adressen jedoch nicht automatisch zugewiesen werden, sodass die Anwendung nicht die erwartete IPv6-Konnektivität erhält. Aktivieren Sie die automatische Zuweisung von IPv6-Adressen für das Subnetz, wie weiter oben in diesem Thema beschrieben, und starten Sie dann einen neuen Job. Die Einstellung gilt nur für Ressourcen, die erstellt wurden, nachdem Sie sie geändert haben.

Der Job wird über IPv4 in einer Dual-Stack-Anwendung ausgeführt

In Dual-Stack-Subnetzen kann dies aus einem von zwei Gründen geschehen. Erstens haben Sie IPv6 nicht mit der Konfigurationseigenschaft aktiviert, sodass die Anwendung ausgeführt wird IPv4-only. Zweitens haben Sie IPv6 aktiviert, aber die Engine nicht so eingestellt, dass sie es bevorzugt, sodass die Engine IPv4 verwendet hat. Bestätigen Sie sowohl die Aktivierungseigenschaft als auch die Engine-Preference-Eigenschaften in Konfiguration der IPv6-Eigenschaften.

Der Job schlägt fehl mit UnresolvedAddressException

Dies kann passieren, wenn der Job den IPv4-Stack in der JVM erzwingt. Entfernen -Djava.net.preferIPv4Stack=true (und alle entsprechenden Einstellungen) aus Ihrer Jobkonfiguration und senden Sie den Job erneut. Siehe Konfiguration der IPv6-Eigenschaften.

Die Anfrage schlägt mit einem Fehler bei der Überprüfung inkompatibler Subnetze fehl

Dies kann passieren, wenn Sie Subnetze angeben, die nicht zusammen laufen können, wie z. B. IPv4-only Subnetze gemischt mit IPv6-only Subnetze oder spark.emr-serverless.networking.ipv6.enabled Die Opt-In-Eigenschaft ist auf festgelegt true während die Anwendung eine enthält IPv4-only Subnetz. Prüfen Sie Ihre Subnetze gegen Wie EMR Serverless den Adressierungsmodus bestimmt, passen Sie sie oder die Opt-In-Eigenschaft an und wiederholen Sie die Anfrage.