Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Anpassen eines serverlosen EMR-Images
Verwenden Sie ab Amazon EMR 6.9.0 benutzerdefinierte Images, um Anwendungsabhängigkeiten und Laufzeitumgebungen mit Amazon EMR Serverless in einem einzigen Container zu verpacken. Dies vereinfacht die Verwaltung von Workload-Abhängigkeiten und macht Ihre Pakete portabler. Wenn Sie Ihr EMR Serverless-Image anpassen, bietet es die folgenden Vorteile:
-
Installiert und konfiguriert Pakete, die für Ihre Workloads optimiert sind. Diese Pakete sind in der öffentlichen Distribution von Amazon EMR-Laufzeitumgebungen nicht allgemein verfügbar.
-
Integriert EMR Serverless in die aktuell etablierten Build-, Test- und Bereitstellungsprozesse in Ihrem Unternehmen, einschließlich lokaler Entwicklungs- und Testprozesse.
-
Wendet etablierte Sicherheitsprozesse an, wie z. B. das Scannen von Bildern, die die Compliance- und Governance-Anforderungen in Ihrem Unternehmen erfüllen.
-
Ermöglicht es Ihnen, Ihre eigenen Versionen von JDK und Python für Ihre Anwendungen zu verwenden.
EMR Serverless bietet Images, die Sie als Grundlage für die Erstellung Ihrer eigenen Images verwenden. Das Basis-Image stellt die grundlegenden Jars, Konfigurationen und Bibliotheken bereit, damit das Image mit EMR Serverless interagieren kann. Das Basis-Image finden Sie in der Öffentliche Amazon ECR-Galerie
| Typ | Image |
|---|---|
|
Spark |
|
|
Hive |
|
Voraussetzungen
Bevor Sie ein benutzerdefiniertes EMR Serverless-Image erstellen, müssen Sie diese Voraussetzungen erfüllen.
-
Erstellen Sie im selben Verzeichnis ein Amazon ECR-Repository AWS-Region das Sie verwenden, um EMR-Anwendungen ohne Server zu starten. Informationen zum Erstellen eines privaten Amazon ECR-Repositorys finden Sie unter Ein privates Repository erstellen.
-
Um Benutzern Zugriff auf Ihr Amazon ECR-Repository zu gewähren, fügen Sie Benutzern und Rollen, die EMR-Anwendungen ohne Server mit Bildern aus diesem Repository erstellen oder aktualisieren, die folgenden Richtlinien hinzu.
Weitere Beispiele für identitätsbasierte Amazon ECR-Richtlinien finden Sie unter Beispiele für identitätsbasierte Richtlinien in Amazon Elastic Container Registry.
Schritt 1: Erstellen Sie ein benutzerdefiniertes Image aus EMR Serverless-Basisimages
Erstellen Sie zunächst eine Docker-DateiFROM Anweisung, die Ihr bevorzugtes Basis-Image verwendet. Nach dem FROM Anweisung, fügen Sie alle Änderungen hinzu, die Sie am Bild vornehmen möchten. Das Basisimage legt automatisch das fest USER zu hadoop. Diese Einstellung verfügt nicht über Berechtigungen für alle Änderungen, die Sie vornehmen. Um das Problem zu umgehen, legen Sie Folgendes fest USER zu root, ändern Sie Ihr Bild und legen Sie dann das fest USER zurück zu hadoop:hadoop. Beispiele für gängige Anwendungsfälle finden Sie unter Verwenden von benutzerdefinierten Images mit EMR Serverless.
# Dockerfile FROM public.ecr.aws/emr-serverless/spark/emr-6.9.0:latest USER root # MODIFICATIONS GO HERE # EMRS runs the image as hadoop USER hadoop:hadoop
Nachdem Sie das Dockerfile haben, erstellen Sie das Image mit dem folgenden Befehl.
# build the docker image docker build . -taws-account-id.dkr.ecr.region.amazonaws.com/my-repository[:tag]or[@digest]
Schritt 2: Validieren Sie das Image lokal
EMR Serverless bietet ein Offline-Tool, mit dem Sie Ihr benutzerdefiniertes Image statisch überprüfen können, um grundlegende Dateien, Umgebungsvariablen und korrekte Image-Konfigurationen zu überprüfen. Informationen zur Installation und Ausführung des Tools finden Sie unter die Amazon EMR Serverless Image CLI GitHub
Führen Sie nach der Installation des Tools den folgenden Befehl aus, um ein Image zu überprüfen:
amazon-emr-serverless-image \ validate-image -r emr-6.9.0 -t spark \ -iaws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest
Die Ausgabe sieht in etwa wie folgt aus.
Amazon EMR Serverless - Image CLI Version: 0.0.1 ... Checking if docker cli is installed ... Checking Image Manifest [INFO] Image ID: 9e2f4359cf5beb466a8a2ed047ab61c9d37786c555655fc122272758f761b41a [INFO] Created On: 2022-12-02T07:46:42.586249984Z [INFO] Default User Set to hadoop:hadoop : PASS [INFO] Working Directory Set to : PASS [INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS [INFO] HADOOP_HOME is set with value: /usr/lib/hadoop : PASS [INFO] HADOOP_LIBEXEC_DIR is set with value: /usr/lib/hadoop/libexec : PASS [INFO] HADOOP_USER_HOME is set with value: /home/hadoop : PASS [INFO] HADOOP_YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS [INFO] HIVE_HOME is set with value: /usr/lib/hive : PASS [INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS [INFO] TEZ_HOME is set with value: /usr/lib/tez : PASS [INFO] YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS [INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS [INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS [INFO] File Structure Test for hadoop-yarn-jars in /usr/lib/hadoop-yarn: PASS [INFO] File Structure Test for hive-bin-files in /usr/bin: PASS [INFO] File Structure Test for hive-jars in /usr/lib/hive/lib: PASS [INFO] File Structure Test for java-bin in /etc/alternatives/jre/bin: PASS [INFO] File Structure Test for tez-jars in /usr/lib/tez: PASS ----------------------------------------------------------------- Overall Custom Image Validation Succeeded. -----------------------------------------------------------------
Schritt 3: Laden Sie das Bild in Ihr Amazon ECR-Repository hoch
Übertragen Sie Ihr Amazon ECR-Image mit den folgenden Befehlen in Ihr Amazon ECR-Repository. Stellen Sie sicher, dass Sie über die richtigen IAM-Berechtigungen verfügen, um das Image in Ihr Repository zu übertragen. Weitere Informationen finden Sie unter Ein Bild pushen in der Amazon ECR-Benutzerhandbuch.
# login to ECR repo aws ecr get-login-password --region region | docker login --username AWS --password-stdinaws-account-id.dkr.ecr.region.amazonaws.com # push the docker image docker pushaws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest
Schritt 4: Erstellen oder aktualisieren Sie eine Anwendung mit benutzerdefinierten Bildern
Wählen Sie AWS-Managementkonsole Tab oder AWS CLI Wählen Sie die Tabulatortaste, je nachdem, wie Sie Ihre Anwendung starten möchten, und führen Sie dann die folgenden Schritte aus.
Schritt 5: Erlauben Sie EMR Serverless den Zugriff auf das benutzerdefinierte Image-Repository
Fügen Sie dem Amazon ECR-Repository die folgende Ressourcenrichtlinie hinzu, damit der EMR Serverless Service Principal die verwenden kann get, describe, und download Anfragen aus diesem Repository.
Fügen Sie als bewährte Sicherheitsmethode eine hinzu aws:SourceArn Bedingungsschlüssel für die Repository-Richtlinie. Der globale IAM-Bedingungsschlüssel aws:SourceArn stellt sicher, dass EMR Serverless das Repository nur für einen Anwendungs-ARN verwendet. Weitere Informationen zu den Amazon ECR-Repository-Richtlinien finden Sie unter Ein privates Repository erstellen.
Überlegungen und Einschränkungen
Wenn Sie mit benutzerdefinierten Bildern arbeiten, beachten Sie Folgendes:
-
Verwenden Sie das richtige Basis-Image, das dem Typ (Spark oder Hive) und der Release-Bezeichnung entspricht (z. B.
emr-6.9.0) für Ihre Anwendung. -
EMR Serverless ignoriert
[CMD]oder[ENTRYPOINT]Anweisungen in der Docker-Datei. Verwenden Sie allgemeine Anweisungen in der Docker-Datei, z. B.[COPY],[RUN], und[WORKDIR]. -
Ändern Sie keine Umgebungsvariablen
JAVA_HOME,SPARK_HOME,HIVE_HOME,TEZ_HOMEwenn Sie ein benutzerdefiniertes Bild erstellen. -
Benutzerdefinierte Bilder dürfen eine Größe von 10 GB nicht überschreiten.
-
Wenn Sie Binärdateien oder JAR-Dateien in den Amazon EMR-Basis-Images ändern, kann dies zu Fehlern beim Start von Anwendungen oder Jobs führen.
-
Das Amazon ECR-Repository muss sich im selben Verzeichnis befinden AWS-Region das Sie verwenden, um EMR-Anwendungen ohne Server zu starten.