View a markdown version of this page

Serverlosen Speicher für Amazon EMR Serverless verwenden - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Serverlosen Speicher für Amazon EMR Serverless verwenden

Verwenden Sie in den Amazon EMR-Versionen 7.12 und höher serverlosen Speicher, wenn Sie Apache Spark-Jobs ausführen, um die lokale Festplattenbereitstellung zu vermeiden, die Datenverarbeitungskosten zu senken und Auftragsausfälle aufgrund von Festplattenkapazitätsbeschränkungen zu vermeiden. Serverloser Speicher verarbeitet automatisch Shuffle-, Disk-Spill- und Disk-Caching-Operationen für Ihre Jobs, ohne dass eine Kapazitätskonfiguration erforderlich ist, und speichert Zwischendaten kostenlos. Amazon EMR Serverless speichert Zwischendaten in einem vollständig verwalteten serverlosen Speicher, der je nach Workload-Anforderungen automatisch skaliert wird und es Spark ermöglicht, Rechenarbeiter sofort freizugeben, wenn sie inaktiv sind, wodurch die Rechenkosten gesenkt werden.

Wichtigste Vorteile

Serverloser Speicher für EMR Serverless bietet die folgenden Vorteile.

  • Zero-configuration Speicher — Serverloser Speicher macht es überflüssig, den lokalen Festplattentyp und die Größe für jede Anwendung oder jeden Job zu konfigurieren. EMR Serverless verwaltet automatisch zwischengeschaltete Datenvorgänge ohne Kapazitätsplanung.

  • Beugt Jobausfällen durch automatische Skalierung vor — Die Speicherkapazität skaliert automatisch je nach Workload-Bedarf und verhindert so Auftragsausfälle aufgrund unzureichender Festplattenkapazität.

  • Geringere Datenverarbeitungskosten — Serverloser Speicher reduziert die Verarbeitungskosten durch zwei Mechanismen. Erstens wird die Zwischenspeicherung der Daten kostenlos bereitgestellt — Sie zahlen nur für Rechen- und Speicherressourcen. Zweitens ermöglicht der entkoppelte Speicher mit der dynamischen Ressourcenzuweisung von Spark Spark, Workers sofort freizugeben, wenn sie inaktiv sind, anstatt sie zur Aufbewahrung von Zwischendaten auf lokalen Festplatten aufzubewahren. Dies ermöglicht ein schnelleres Scale-Out und Scale-In pro Spark-Stufe und senkt so die Rechenkosten für Jobs, bei denen in späteren Phasen weniger Mitarbeiter benötigt werden als in der Anfangsphase.

  • Verschlüsselter Speicher mit Isolierung auf Auftragsebene — Alle Zwischendaten werden bei der Übertragung und Speicherung mit strikter Isolierung auf Auftragsebene verschlüsselt.

  • Fine-grained Unterstützung der Zugriffskontrolle — Serverloser Speicher unterstützt eine feinkörnige Zugriffskontrolle durch die Lake Formation-Integration. AWS

Erste Schritte

Sehen Sie sich die folgenden Schritte an, um serverlosen Speicher für EMR Serverless in Ihren Spark-Workflows zu verwenden.

  1. Erstellen Sie eine EMR-Anwendung ohne Server

    Erstellen Sie eine EMR-Anwendung Serverless Version 7.12 (oder höher) mit aktiviertem serverlosem Speicher, indem Sie die Spark-Eigenschaft in der Spark-Defaults-Klassifizierung spark.aws.serverlessStorage.enabled auf true setzen.

    aws emr-serverless create-application \ --type "SPARK" \ --name my-application \ --release-label emr-7.12.0 \ --runtime-configuration '[{ "classification": "spark-defaults", "properties": { "spark.aws.serverlessStorage.enabled": "true" } }]' \ --region <AWS_REGION>
  2. Starten Sie einen Spark-Job

    Starten Sie einen Job, der auf Ihrer Anwendung ausgeführt wird. Serverless Storage for EMR Serverless übernimmt automatisch zwischengeschaltete Datenvorgänge wie das Zuordnen von Daten für Ihren Auftrag.

    aws emr-serverless start-job-run \ --application-id <application-id> \ --execution-role-arn <job-role-arn> \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://<bucket>/script.py", "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=10" } }'

    Sie können serverlosen Speicher für EMR Serverless auch auf Auftragsebene aktivieren, auch wenn er auf Anwendungsebene nicht aktiviert ist. Dadurch werden Worker Nodes gestartet, auf denen serverloser Speicher aktiviert ist, um Ihre Jobs zu verarbeiten. Sie können den serverlosen Speicher auch für einen bestimmten Job deaktivieren, indem Sie dieselbe Spark-Eigenschaft spark.aws.serverlessStorage.enabled auf false setzen.

    # Turn on serverless storage for EMR serverless for a specific job aws emr-serverless start-job-run \ --application-id <application-id> \ --execution-role-arn <job-role-arn> \ --job-driver '{ "sparkSubmit": { "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar", "entryPointArguments": ["1"], "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.aws.serverlessStorage.enabled": "true" } }'
    Anmerkung

    Wenn Sie weiterhin die traditionelle lokale Festplattenbereitstellung verwenden möchten, lassen Sie die spark.aws.serverlessStorage.enabled Konfiguration aus oder setzen Sie sie auf False.

Überlegungen und Einschränkungen

  • Release-Version — Serverloser Speicher wird in Amazon EMR Version 7.12 und höher unterstützt.

  • Grenzwerte für Datenvolumen — Mit emr-7.12, emr-7.13 und emr-spark-8.0 kann jeder Job bis zu 200 GB an Zwischendaten pro Auftragsausführung lesen und schreiben. Für emr-7.14 und höher, einschließlich emr-spark-8.1, erhöht sich dieses Limit auf 1 TB, außer in Regionen, in denen unten unter Unterstützt ein Limit von 200 GB angegeben ist. AWS-Regionen Aufträge, die das geltende Limit überschreiten, schlagen fehl und es wird eine Fehlermeldung angezeigt, die darauf hinweist, dass das Limit für serverlosen Speicher erreicht wurde.

  • Timeout bei der Auftragsausführung — Serverloser Speicher unterstützt Jobs mit Ausführungszeitüberschreitungen von bis zu 24 Stunden. Jobs, die für längere Ausführungszeitüberschreitungen konfiguriert sind, schlagen mit einer Fehlermeldung fehl.

  • Pre-initialized Kapazität — Pre-initialized Capacity Worker unterstützen keinen serverlosen Speicher. Wenn Sie vorinitialisierte Kapazität konfigurieren, wird diese nur für Jobs genutzt, bei denen serverloser Speicher auf Auftragsebene explizit deaktiviert wird. Jobs, bei denen serverloser Speicher aktiviert ist, stellen bei Bedarf immer neue Mitarbeiter zur Verfügung und verbrauchen keine vorinitialisierte Kapazität, unabhängig von der Konfiguration auf Anwendungsebene.

  • Workload-Typen — Serverloser Speicher wird für Streaming- und interaktive Jobs nicht unterstützt.

  • Worker-Konfiguration — Serverloser Speicher wird für Worker mit 1 oder 2 vCPUs nicht unterstützt.

Unterstützt AWS-Regionen

EMR Serverless unterstützt serverlosen Speicher in den folgenden Regionen:

  • USA Ost (Nord-Virginia)

  • USA Ost (Ohio)

  • USA West (Nordkalifornien)

  • USA West (Oregon)

  • Asien-Pazifik (Hongkong)

  • Asien-Pazifik (Jakarta)

  • Asien-Pazifik (Mumbai)

  • Asien-Pazifik (Osaka)

  • Asien-Pazifik (Seoul)

  • Asien-Pazifik (Singapur)

  • Asien-Pazifik (Sydney)

  • Asien-Pazifik (Tokio)

  • Canada (Central)

  • Europe (Frankfurt)

  • Europa (Irland)

  • Europa (Spain)

  • Europa (Stockholm)

  • Südamerika (São Paulo)

  • Afrika (Kapstadt) — Limit von 200 GB

  • Asien-Pazifik (Melbourne) — Limit von 200 GB

  • Westkanada (Calgary) — Limit von 200 GB

  • Europa (London) — Limit von 200 GB

  • Europa (Mailand) — Limit von 200 GB

  • Europa (Paris) — Limit von 200 GB

  • Europa (Zürich) — Limit von 200 GB