View a markdown version of this page

Konfiguration des VPC-Zugriffs für EMR-Anwendungen ohne Server, um eine Verbindung zu Daten herzustellen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration des VPC-Zugriffs für EMR-Anwendungen ohne Server, um eine Verbindung zu Daten herzustellen

Sie können serverlose EMR-Anwendungen so konfigurieren, dass sie eine Verbindung zu Ihren Datenspeichern in Ihrer VPC herstellen, z. B. Amazon Redshift-Cluster, Amazon RDS-Datenbanken oder Amazon S3-Buckets mit VPC-Endpunkten. Ihre EMR Serverless-Anwendung verfügt über ausgehende Konnektivität zu den Datenspeichern in Ihrer VPC. Standardmäßig blockiert EMR Serverless sowohl den eingehenden Zugriff auf Ihre Anwendungen als auch den ausgehenden Internetzugang, um die Sicherheit zu erhöhen.

Anmerkung

Sie müssen den VPC-Zugriff konfigurieren, wenn Sie eine externe Hive-Metastore-Datenbank für Ihre Anwendung verwenden möchten. Informationen zur Konfiguration eines externen Hive-Metastores finden Sie unter Metastore-Konfiguration.

Erstellen von Anwendungen

Auf der Anwendung erstellen Wählen Sie auf dieser Seite benutzerdefinierte Einstellungen und geben Sie die VPC, Subnetze und Sicherheitsgruppen an, die EMR-Anwendungen ohne Server verwenden können.

VPCs

Wählen Sie den Namen der Virtual Private Cloud (VPC), die Ihre Datenspeicher enthält. Die Anwendung erstellen Die Seite listet alle VPCs für die von Ihnen gewählte auf AWS-Region.

Subnets

Wählen Sie die Subnetze innerhalb der VPC aus, die Ihren Datenspeicher enthalten. Die Anwendung erstellen Auf dieser Seite werden alle Subnetze für die Datenspeicher in Ihrer VPC aufgeführt. Sowohl öffentliche als auch private Subnetze werden unterstützt. Sie können entweder private oder öffentliche Subnetze an Ihre Anwendungen übergeben. Bei der Entscheidung, ob Sie ein öffentliches oder ein privates Subnetz verwenden möchten, müssen Sie einige Überlegungen berücksichtigen.

Für private Subnetze:

  • Die zugehörigen Routing-Tabellen dürfen keine Internet-Gateways haben.

  • Für ausgehende Verbindungen zum Internet konfigurieren Sie bei Bedarf ausgehende Routen mithilfe eines NAT-Gateways. Informationen zur Konfiguration eines NAT-Gateways finden Sie unter NAT-Gateways.

  • Für Amazon S3-Konnektivität konfigurieren Sie entweder ein NAT-Gateway oder einen VPC-Endpunkt. Informationen zur Konfiguration eines S3-VPC-Endpunkts finden Sie unter Erstellen Sie einen Gateway-Endpunkt.

  • Wenn Sie einen S3-VPC-Endpunkt konfigurieren und eine Endpunktrichtlinie zur Zugriffskontrolle anhängen, folgen Sie den Anweisungen unter Protokollierung für EMR Serverless mit verwaltetem Speicher um EMR Serverless Berechtigungen zum Speichern und Bereitstellen von Anwendungsprotokollen zu gewähren.

  • Für die Konnektivität zu anderen AWS-Services Konfigurieren Sie außerhalb der VPC, z. B. zu Amazon DynamoDB, entweder VPC-Endpunkte oder ein NAT-Gateway. So konfigurieren Sie VPC-Endpunkte für AWS-Services, siehe Arbeiten Sie mit VPC-Endpunkten.

Anmerkung

Wenn Sie eine Amazon EMR Serverless-Anwendung in einem privaten Subnetz einrichten, empfehlen wir Ihnen, auch VPC-Endpunkte für Amazon S3 einzurichten. Wenn sich Ihre EMR Serverless-Anwendung in einem privaten Subnetz ohne VPC-Endpunkte für Amazon S3 befindet, fallen zusätzliche NAT-Gateway-Gebühren an, die mit dem S3-Verkehr verbunden sind. Dies liegt daran, dass der Datenverkehr zwischen Ihrer EMR-Anwendung und Amazon S3 nicht in Ihrer VPC verbleibt, wenn die VPC-Endpunkte nicht konfiguriert sind.

Für öffentliche Subnetze:

  • Diese haben eine Route zu einem Internet-Gateway.

  • Sie müssen sicherstellen, dass die Sicherheitsgruppen ordnungsgemäß konfiguriert sind, um den ausgehenden Datenverkehr zu kontrollieren.

Mitarbeiter können über ausgehenden Datenverkehr eine Verbindung zu den Datenspeichern in Ihrer VPC herstellen. Standardmäßig blockiert EMR Serverless den eingehenden Zugriff von Workern. Dies dient der Verbesserung der Sicherheit.

Wenn du verwendest AWS Config, EMR Serverless erstellt für jeden Worker einen Datensatz für elastische Netzwerkschnittstellen. Um die mit dieser Ressource verbundenen Kosten zu vermeiden, sollten Sie erwägen, sie auszuschalten AWS::EC2::NetworkInterface in AWS Config.

Anmerkung

Wir empfehlen Ihnen, mehrere Subnetze in mehreren Availability Zones auszuwählen. Das liegt daran, dass die von Ihnen ausgewählten Subnetze die Availability Zones bestimmen, die für den Start einer serverlosen EMR-Anwendung verfügbar sind. Jeder Worker verwendet eine IP-Adresse in dem Subnetz, in dem er gestartet wird. Bitte stellen Sie sicher, dass die angegebenen Subnetze über ausreichende IP-Adressen für die Anzahl der Worker verfügen, die Sie starten möchten. Weitere Informationen zur Subnetzplanung finden Sie unter Bewährte Methoden für die Subnetzplanung.

Überlegungen und Einschränkungen für Subnetze

  • EMR Serverless mit öffentlichen Subnetzen unterstützt nicht AWS Seenformation.

  • Eingehender Verkehr wird für öffentliche Subnetze nicht unterstützt.

Sicherheitsgruppen

Wählen Sie eine oder mehrere Sicherheitsgruppen aus, die mit Ihren Datenspeichern kommunizieren können. Die Anwendung erstellen Auf dieser Seite werden alle Sicherheitsgruppen in Ihrer VPC aufgeführt. EMR Serverless ordnet diese Sicherheitsgruppen elastischen Netzwerkschnittstellen zu, die an Ihre VPC-Subnetze angeschlossen sind.

Anmerkung

Wir empfehlen, dass Sie eine separate Sicherheitsgruppe für EMR Serverless-Anwendungen erstellen. EMR Serverless ermöglicht Ihnen Folgendes nicht Erstellen/Aktualisieren/Bewerbung starten wenn Sicherheitsgruppen Ports haben, die für das öffentliche Internet geöffnet sind 0.0.0.0/0 oder die :: /0 Bereich. Dies bietet mehr Sicherheit und Isolierung und macht die Verwaltung von Netzwerkregeln effizienter. So wird beispielsweise unerwarteter Datenverkehr zu Mitarbeitern mit öffentlichen IP-Adressen blockiert. Um beispielsweise mit Amazon Redshift-Clustern zu kommunizieren, definieren Sie die Verkehrsregeln zwischen Redshift- und EMR-Serverless-Sicherheitsgruppen, wie im Beispiel im folgenden Abschnitt veranschaulicht.

Beispiel Beispiel — Kommunikation mit Amazon Redshift-Clustern
  1. Fügen Sie der Amazon Redshift-Sicherheitsgruppe eine Regel für eingehenden Datenverkehr aus einer der EMR-Serverless-Sicherheitsgruppen hinzu.

    Typ Protocol (Protokoll) Port-Bereich Quelle

    Alle TCP

    TCP

    5439

    emr-serverless-security-group

  2. Fügen Sie eine Regel für ausgehenden Datenverkehr aus einer der EMR Serverless-Sicherheitsgruppen hinzu. Tun Sie dies auf eine von zwei Arten. Öffnen Sie zunächst den ausgehenden Verkehr für alle Ports.

    Typ Protocol (Protokoll) Port-Bereich Ziel

    Gesamter Datenverkehr

    TCP

    ALL

    0.0.0.0/0

    Alternativ können Sie den ausgehenden Datenverkehr auf Amazon Redshift-Cluster einschränken. Dies ist nur nützlich, wenn die Anwendung mit Amazon Redshift-Clustern kommunizieren muss und sonst nichts.

    Typ Protocol (Protokoll) Port-Bereich Quelle

    Alle TCP

    TCP

    5439

    redshift-security-group

Anwendung konfigurieren

Sie können die Netzwerkkonfiguration für eine bestehende EMR Serverless-Anwendung über das ändern Anwendung konfigurieren Seite.

Greifen Sie auf Details zur Auftragsausführung zu

Auf der Einzelheiten zur Ausführung des Auftrags Seite, greifen Sie auf das Subnetz zu, das von Ihrem Job für einen bestimmten Lauf verwendet wird. Beachten Sie, dass ein Job nur in einem Subnetz ausgeführt wird, das aus den angegebenen Subnetzen ausgewählt wurde.

Bewährte Methoden für die Subnetzplanung

AWS Ressourcen werden in einem Subnetz erstellt, das eine Teilmenge der verfügbaren IP-Adressen in einer Amazon-VPC ist. Beispielsweise hat eine VPC mit einer /16-Netzwerkmaske bis zu 65.536 verfügbare IP-Adressen, die mithilfe von Subnetzmasken in mehrere kleinere Netzwerke aufgeteilt werden können. Beispielsweise können Sie diesen Bereich in zwei Subnetze aufteilen, wobei jedes Subnetz die Maske /17 und 32.768 verfügbare IP-Adressen verwendet. Ein Subnetz befindet sich in einer Availability Zone und kann sich nicht über mehrere Zonen erstrecken.

Die Subnetze sollten unter Berücksichtigung der Skalierungsgrenzen Ihrer EMR-Serverless-Anwendung konzipiert werden. Wenn Sie beispielsweise eine Anwendung haben, die 4 vCPU-Worker anfordert und auf bis zu 4.000 vCPUs skalieren kann, benötigt Ihre Anwendung höchstens 1.000 Worker für insgesamt 1.000 Netzwerkschnittstellen. Wir empfehlen Ihnen, Subnetze in mehreren Availability Zones zu erstellen. Auf diese Weise kann EMR Serverless in dem unwahrscheinlichen Fall, dass eine Availability Zone ausfällt, Ihren Job erneut versuchen oder vorinitialisierte Kapazität in einer anderen Availability Zone bereitstellen. Daher sollte jedes Subnetz in mindestens zwei Availability Zones über mehr als 1.000 verfügbare IP-Adressen verfügen.

Sie benötigen Subnetze mit einer Maskengröße von weniger als oder gleich 22, um 1.000 Netzwerkschnittstellen bereitzustellen. Jede Maske, die größer als 22 ist, erfüllt die Anforderung nicht. Beispielsweise bietet eine Subnetzmaske von /23 512 IP-Adressen, während eine Maske von /22 1024 und eine Maske von /21 2048 IP-Adressen bereitstellt. Unten finden Sie ein Beispiel für 4 Subnetze mit der Maske /22 in einer VPC mit der Netzwerkmaske /16, die verschiedenen Availability Zones zugewiesen werden können. Zwischen verfügbaren und verwendbaren IP-Adressen besteht ein Unterschied von fünf, da die ersten vier IP-Adressen und die letzte IP-Adresse in jedem Subnetz reserviert sind für AWS.

Subnetz-ID Subnetzadresse Subnetzmaske IP-Adressbereiche Verfügbare IP-Adressen Nutzbare IP-Adressen

1

10.0.0.0

255,255,252.0/22

10.0.0.0 - 10.0.3.255

1,024

1.019

2

10,0.4.0

255,255,252.0/22

10.0.4.0 — 10.0.7.255

1,024

1.019

3

10,0.8,0

255,255,252.0/22

10.0.8.0 - 10.0.11.255

1,024

1.019

4

10.0.12.0

255,255,252.0/22

10.0.12.0 - 10.0.15.255

1,024

1.019

Sie sollten prüfen, ob Ihre Arbeitslast am besten für größere Mitarbeiter geeignet ist. Für die Verwendung größerer Worker-Größen sind weniger Netzwerkschnittstellen erforderlich. Wenn Sie beispielsweise 16-vCPU-Worker mit einer Anwendungsskalierungsgrenze von 4.000 vCPUs verwenden, sind maximal 250 Worker erforderlich, sodass insgesamt 250 IP-Adressen zur Bereitstellung von Netzwerkschnittstellen zur Verfügung stehen. Sie benötigen Subnetze in mehreren Availability Zones mit einer Maskengröße von mindestens 24, um 250 Netzwerkschnittstellen bereitzustellen. Jede Maskengröße von mehr als 24 bietet weniger als 250 IP-Adressen.

Wenn Sie Subnetze für mehrere Anwendungen gemeinsam nutzen, sollte jedes Subnetz unter Berücksichtigung der kollektiven Skalierungsgrenzen all Ihrer Anwendungen entworfen werden. Wenn Sie beispielsweise 3 Anwendungen haben, die 4 vCPU-Worker anfordern und jede von ihnen auf bis zu 4000 vCPUs mit einem dienstbasierten Kontingent von 12.000 vCPUs auf Kontoebene skaliert werden kann, benötigt jedes Subnetz 3000 verfügbare IP-Adressen. Wenn die VPC, die Sie verwenden möchten, nicht über eine ausreichende Anzahl von IP-Adressen verfügt, versuchen Sie, die Anzahl der verfügbaren IP-Adressen zu erhöhen. Sie können dies tun, indem Sie weitere Classless hinzufügen Inter-Domain Routing-Blöcke (CIDR) mit Ihrer VPC. Weitere Informationen finden Sie unter Ordnen Sie Ihrer VPC zusätzliche IPv4-CIDR-Blöcke zu in der Amazon VPC-Benutzerhandbuch.

Sie können eines der vielen online verfügbaren Tools verwenden, um schnell Subnetzdefinitionen zu generieren und den verfügbaren IP-Adressbereich zu überprüfen.