View a markdown version of this page

EMR-Cluster an AWS Outposts - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMR-Cluster an AWS Outposts

Ab Amazon EMR 5.28.0 können Sie EMR-Cluster erstellen und ausführen auf AWS Outposts. AWS Outposts aktiviert nativ AWS Dienste, Infrastruktur und Betriebsmodelle in lokalen Einrichtungen. In AWS Outposts Umgebungen, Sie können dasselbe verwenden AWS APIs, Tools und Infrastruktur, die Sie in der verwenden AWS Wolke. Amazon EMR an AWS Outposts ist ideal für Workloads mit niedriger Latenz, die in unmittelbarer Nähe zu lokalen Daten und Anwendungen ausgeführt werden müssen. Für weitere Informationen über AWS Outposts, siehe AWS Outposts Benutzerleitfaden.

Voraussetzungen

Im Folgenden sind die Voraussetzungen für die Verwendung von Amazon EMR in AWS Outposts aufgeführt:

  • Sie müssen installiert und konfiguriert haben AWS Outposts in Ihrem lokalen Rechenzentrum.

  • Sie benötigen eine zuverlässige Netzwerkverbindung zwischen Ihrer Outpost-Umgebung und einem AWS Region.

  • In Ihrem Outpost muss ausreichend Kapazität für von Amazon EMR unterstützte Instance-Typen verfügbar sein.

Einschränkungen

Im Folgenden sind die Einschränkungen für die Verwendung von Amazon EMR auf AWS Outposts aufgeführt:

  • On-Demand Instances sind die einzige unterstützte Option für Amazon EC2-Instances. Spot Instances sind für Amazon EMR auf AWS Outposts nicht verfügbar.

  • Wenn Sie zusätzliche Amazon-EBS-Speichervolumes benötigen, wird nur GP2 (General Purpose SSD) unterstützt.

  • Wenn Sie verwenden AWS Outposts Mit den Amazon EMR-Versionen 5.28 bis 6.x können Sie nur S3-Buckets verwenden, die Objekte in einem AWS-Region die Sie angeben. Mit Amazon EMR 7.0.0 und höher ist Amazon EMR aktiviert AWS Outposts wird auch unterstützt mit S3A Dateisystem-Client, Präfix s3a://.

  • Nur die folgenden Instance-Typen werden von Amazon EMR auf AWS Outposts unterstützt:

    Instance-Klasse Instance-Typen
    Allgemeine Zwecke

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Compute-optimized

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    Memory-optimized

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Storage-optimized

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Überlegungen zur Netzwerkkonnektivität

  • Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seinem AWS Die Region geht verloren, Ihre Cluster laufen weiter. Sie können jedoch keine neuen Cluster erstellen oder neue Aktionen für vorhandene Cluster ausführen, bis die Verbindung wiederhergestellt wurde. Bei Instance-Fehlern wird die Instance nicht automatisch ersetzt. Darüber hinaus Aktionen wie das Hinzufügen von Schritten zu einem laufenden Cluster, das Überprüfen des Ausführungsstatus von Schritten und das Senden CloudWatch Metriken und Ereignisse werden verzögert.

  • Wir empfehlen Ihnen, eine zuverlässige und hochverfügbare Netzwerkkonnektivität zwischen Ihrem Outpost und dem bereitzustellen AWS Region. Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seinem AWS Die Region ist für mehr als ein paar Stunden unterbrochen, Cluster, für die der Terminierungsschutz aktiviert ist, werden weiter ausgeführt, und Cluster, für die der Terminierungsschutz deaktiviert ist, werden möglicherweise beendet.

  • Falls die Netzwerkkonnektivität aufgrund einer routinemäßigen Wartung beeinträchtigt wird, empfehlen wir die proaktive Aktivierung des Beendigungsschutzes. Generell bedeutet die Unterbrechung der Konnektivität, dass externe Abhängigkeiten, die nicht lokal im Outpost oder Kundennetzwerk sind, nicht zugänglich sind. Dazu gehören Amazon S3, DynamoDB, das mit EMRFS Consistency View verwendet wird, und Amazon RDS, wenn eine Instance in der Region für einen Amazon-EMR-Cluster mit mehreren Primärknoten verwendet wird.

Erstellen eines Amazon EMR-Clusters auf AWS Outposts

Erstellen eines Amazon EMR-Clusters auf AWS Outposts ähnelt dem Erstellen eines Amazon EMR-Clusters im AWS Wolke. Wenn Sie einen Amazon EMR-Cluster erstellen auf AWS Outposts, müssen Sie ein Amazon EC2-Subnetz angeben, das Ihrem Outpost zugeordnet ist.

Eine Amazon VPC kann sich über alle Availability Zones in einem AWS Region. AWS Outposts sind Erweiterungen von Availability Zones, und Sie können eine Amazon-VPC in einem Konto so erweitern, dass sie mehrere Availability Zones und zugehörige Outpost-Standorte umfasst. Wenn Sie den Outpost konfigurieren, ordnen Sie ihm ein Subnetz zu, um Ihre regionale VPC-Umgebung auf Ihre On-Premises-Einrichtung zu erweitern. Outpost-Instances und verwandte Services werden als Teil Ihrer regionalen VPC angezeigt, ähnlich einer Availability Zone mit verknüpften Subnetzen. Weitere Informationen finden Sie im AWS Outposts -Benutzerhandbuch.

Konsole

Um einen neuen Amazon EMR-Cluster zu erstellen auf AWS Outposts mit dem AWS-Managementkonsole, geben Sie ein Amazon EC2-Subnetz an, das Ihrem Outpost zugeordnet ist.

Console
Um einen Cluster zu erstellen auf AWS Outposts mit der Konsole
  1. Melde dich bei der an AWS-Managementkonsole, und öffnen Sie die Amazon EMR-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie im linken Navigationsbereich unter EMR in EC2 die Option Cluster und dann Cluster erstellen aus.

  3. Wählen Sie unter Clusterkonfiguration die Option Instance-Gruppen oder Instance-Flotten aus. Wählen Sie dann im Dropdownmenü EC2-Instance-Typ auswählen einen Instance-Typ aus oder wählen Sie Aktionen und anschließend EBS-Volumes hinzufügen aus. Amazon EMR aktiviert AWS Outposts unterstützt begrenzte Amazon EBS-Volumes und Instance-Typen.

  4. Wählen Sie unter Netzwerk ein EC2-Subnetz mit einer Outpost-ID in diesem Format aus: op-123456789.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

CLI
Um einen Cluster zu erstellen auf AWS Outposts mit dem AWS CLI
  • Um einen neuen Amazon EMR-Cluster zu erstellen auf AWS Outposts mit dem AWS CLI, geben Sie ein EC2-Subnetz an, das Ihrem Outpost zugeordnet ist, wie im folgenden Beispiel. Ersetzen subnet-22XXXX01 mit Ihrer eigenen Amazon EC2-Subnetz-ID.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.14.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles