Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Personnalisation d'une image EMR Serverless
À partir d'Amazon EMR 6.9.0, utilisez des images personnalisées pour regrouper les dépendances des applications et les environnements d'exécution dans un conteneur unique avec Amazon EMR Serverless. Cela simplifie la gestion des dépendances de la charge de travail et rend vos packages plus portables. Lorsque vous personnalisez votre image EMR Serverless, elle offre les avantages suivants :
-
Installe et configure des packages optimisés pour vos charges de travail. Ces packages ne sont pas largement disponibles dans la distribution publique des environnements d'exécution Amazon EMR.
-
Intègre EMR Serverless aux processus de création, de test et de déploiement existants au sein de votre organisation, y compris le développement et les tests locaux.
-
Applique des processus de sécurité établis, tels que la numérisation d'images, qui répondent aux exigences de conformité et de gouvernance au sein de votre organisation.
-
Vous permet d'utiliser vos propres versions de JDK et Python pour vos applications.
EMR Serverless fournit des images qui vous serviront de base lorsque vous créez vos propres images. L'image de base fournit les fichiers JAR, la configuration et les bibliothèques essentiels pour que l'image interagisse avec EMR Serverless. Vous pouvez trouver l'image de base dans Galerie publique Amazon ECR
| Type | Image |
|---|---|
|
Spark |
|
|
Hive |
|
Conditions préalables
Avant de créer une image personnalisée EMR Serverless, remplissez ces conditions préalables.
-
Créez un référentiel Amazon ECR dans le même Région AWS que vous utilisez pour lancer des applications EMR Serverless. Pour créer un référentiel privé Amazon ECR, reportez-vous à Création d'un dépôt privé.
-
Pour autoriser les utilisateurs à accéder à votre référentiel Amazon ECR, ajoutez les politiques suivantes aux utilisateurs et aux rôles qui créent ou mettent à jour des applications EMR Serverless avec des images provenant de ce référentiel.
Pour plus d'exemples de politiques basées sur l'identité Amazon ECR, consultez Exemples de politiques basées sur l'identité d'Amazon Elastic Container Registry.
Étape 1 : Création d'une image personnalisée à partir des images de base EMR Serverless
Tout d'abord, créez un Fichier DockerFROM instruction qui utilise votre image de base préférée. Après le FROM instruction, incluez toute modification que vous souhaitez apporter à l'image. L'image de base définit automatiquement le USER pour hadoop. Ce paramètre ne dispose pas d'autorisations pour toutes les modifications que vous incluez. Pour contourner le problème, définissez le USER pour root, modifiez votre image, puis définissez USER retour à hadoop:hadoop. Pour consulter des exemples de cas d'utilisation courants, reportez-vous à Utilisation d'images personnalisées avec EMR Serverless.
# Dockerfile FROM public.ecr.aws/emr-serverless/spark/emr-6.9.0:latest USER root # MODIFICATIONS GO HERE # EMRS runs the image as hadoop USER hadoop:hadoop
Une fois que vous avez le Dockerfile, créez l'image à l'aide de la commande suivante.
# build the docker image docker build . -taws-account-id.dkr.ecr.region.amazonaws.com/my-repository[:tag]or[@digest]
Étape 2 : Valider l'image localement
EMR Serverless fournit un outil hors ligne qui peut vérifier statiquement votre image personnalisée pour valider les fichiers de base, les variables d'environnement et les configurations d'image correctes. Pour plus d'informations sur l'installation et l'exécution de l'outil, reportez-vous à l'interface de ligne de commande d'image sans serveur Amazon EMR GitHub
Après avoir installé l'outil, exécutez la commande suivante pour valider une image :
amazon-emr-serverless-image \ validate-image -r emr-6.9.0 -t spark \ -iaws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest
La sortie ressemble à ce qui suit.
Amazon EMR Serverless - Image CLI Version: 0.0.1 ... Checking if docker cli is installed ... Checking Image Manifest [INFO] Image ID: 9e2f4359cf5beb466a8a2ed047ab61c9d37786c555655fc122272758f761b41a [INFO] Created On: 2022-12-02T07:46:42.586249984Z [INFO] Default User Set to hadoop:hadoop : PASS [INFO] Working Directory Set to : PASS [INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS [INFO] HADOOP_HOME is set with value: /usr/lib/hadoop : PASS [INFO] HADOOP_LIBEXEC_DIR is set with value: /usr/lib/hadoop/libexec : PASS [INFO] HADOOP_USER_HOME is set with value: /home/hadoop : PASS [INFO] HADOOP_YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS [INFO] HIVE_HOME is set with value: /usr/lib/hive : PASS [INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS [INFO] TEZ_HOME is set with value: /usr/lib/tez : PASS [INFO] YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS [INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS [INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS [INFO] File Structure Test for hadoop-yarn-jars in /usr/lib/hadoop-yarn: PASS [INFO] File Structure Test for hive-bin-files in /usr/bin: PASS [INFO] File Structure Test for hive-jars in /usr/lib/hive/lib: PASS [INFO] File Structure Test for java-bin in /etc/alternatives/jre/bin: PASS [INFO] File Structure Test for tez-jars in /usr/lib/tez: PASS ----------------------------------------------------------------- Overall Custom Image Validation Succeeded. -----------------------------------------------------------------
Étape 3 : Chargez l'image dans votre référentiel Amazon ECR
Transférez votre image Amazon ECR vers votre référentiel Amazon ECR à l'aide des commandes suivantes. Assurez-vous de disposer des autorisations IAM appropriées pour envoyer l'image vers votre référentiel. Pour plus d'informations, reportez-vous à Pousser une image dans le Guide de l'utilisateur d'Amazon ECR.
# login to ECR repo aws ecr get-login-password --region region | docker login --username AWS --password-stdinaws-account-id.dkr.ecr.region.amazonaws.com # push the docker image docker pushaws-account-id.dkr.ecr.region.amazonaws.com/my-repository:tag/@digest
Étape 4 : Création ou mise à jour d'une application avec des images personnalisées
Choisissez le Console de gestion AWS onglet ou AWS CLI appuyez sur l'onglet en fonction de la manière dont vous souhaitez lancer votre application, puis procédez comme suit.
Étape 5 : Autoriser EMR Serverless à accéder au référentiel d'images personnalisé
Ajoutez la politique de ressources suivante au référentiel Amazon ECR pour permettre au principal du service EMR Serverless d'utiliser le get, describe, et download requêtes provenant de ce référentiel.
En tant que meilleure pratique en matière de sécurité, ajoutez un aws:SourceArn clé de condition de la politique du référentiel. La clé de condition globale IAM aws:SourceArn garantit qu'EMR Serverless utilise le référentiel uniquement pour l'ARN d'une application. Pour plus d'informations sur les politiques relatives au référentiel Amazon ECR, consultez Création d'un dépôt privé.
Considérations et restrictions
Lorsque vous travaillez avec des images personnalisées, tenez compte des points suivants :
-
Utilisez l'image de base appropriée qui correspond au type (Spark ou Hive) et à l'étiquette de version (par exemple,
emr-6.9.0) pour votre candidature. -
EMR Serverless ignore
[CMD]ou[ENTRYPOINT]instructions dans le fichier Docker. Utilisez les instructions courantes du fichier Docker, telles que[COPY],[RUN], et[WORKDIR]. -
Ne modifiez pas les variables d'environnement
JAVA_HOME,SPARK_HOME,HIVE_HOME,TEZ_HOMElorsque vous créez une image personnalisée. -
La taille des images personnalisées ne peut pas dépasser 10 Go.
-
Si vous modifiez des fichiers binaires ou des fichiers JAR dans les images de base Amazon EMR, cela peut entraîner l'échec du lancement de l'application ou de la tâche.
-
Le référentiel Amazon ECR doit se trouver dans le même Région AWS que vous utilisez pour lancer des applications EMR Serverless.