Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Liens vers les guides des meilleures pratiques d'Amazon EMR on EKS sur GitHub

Nous avons élaboré le guide des meilleures pratiques Amazon EMR on EKS en utilisant la collaboration communautaire open source afin de pouvoir itérer rapidement et fournir des recommandations sur les aspects de la création et de l'exécution d'un cluster virtuel. Nous vous recommandons d'utiliser le Guide des bonnes pratiques Amazon EMR on EKS pour les sections concernées. Choisissez les liens dans chaque section pour accéder au GitHub site.

Sécurité

Bonnes pratiques en matière de chiffrement : comment utiliser le chiffrement pour les données au repos et en transit.

Gestion de la sécurité du réseau : explique comment configurer les groupes de sécurité pour les pods d'Amazon EMR on EKS lorsque vous vous connectez à des sources de données hébergées dans des Services AWS comme Amazon RDS et Amazon Redshift.

Utiliser le gestionnaire de AWS secrets pour stocker des secrets.

Soumission de tâches PySpark

Soumission de tâches PySpark : spécifie différents types d'empaquetage pour les applications PySpark en utilisant des formats d'empaquetage tels que zip, egg, wheel et pex.

Stockage

Utilisation des volumes EBS : comment utiliser le provisionnement statique et dynamique pour les tâches nécessitant des volumes EBS.

Utilisation d'Amazon FSx pour les volumes Lustre : comment utiliser le provisionnement statique et dynamique pour les tâches nécessitant des volumes Amazon FSx for Luster.

Utilisation des volumes de stockage d'instances : comment utiliser les volumes de stockage d'instances pour le traitement des tâches.

Intégration de métastore

Utilisation du métastore Hive : propose différentes manières d'utiliser le métastore Hive.

Utiliser AWS Glue : propose différentes manières de configurer le catalogue AWS Glue.

Débogage

Utilisation du débogage Spark : comment modifier le niveau de journalisation.

Connexion à l'interface utilisateur Spark sur le pod pilote.

Utilisation du serveur d'historique Spark auto-hébergé avec Amazon EMR on EKS.

Résolution des problèmes liés à Amazon EMR on EKS

Résolution des problèmes.

Placement des nœuds

Utilisation des sélecteurs de nœuds Kubernetes pour single-az et d'autres cas d'utilisation.

Utilisation du placement des nœuds Fargate.

Performance

Utilisation de l'allocation dynamique des ressources (DRA).

Par défaut, spark.dynamicAllocation.preallocateExecutors est activé dans Amazon EMR Spark. Lorsque ces spark.dynamicAllocation.initialExecutors paramètres ne spark.dynamicAllocation.minExecutors sont pas définis, Spark peut demander un grand nombre d'exécuteurs au démarrage en fonction du nombre de tâches estimé, même pour de petites charges de travail. Pour éviter un taux de désabonnement excessif des conteneurs, appliquez l'une des approches suivantes :

Bonnes pratiques EKS relatives au plug-in Amazon VPC Container Network Interface (CNI), Cluster Autoscaler et Core DNS.

Optimisation des coûts

Utilisation d'instances Spot : bonnes pratiques relatives aux instances Spot d'Amazon EC2 et comment utiliser la fonctionnalité de mise hors service des nœuds Spark.

En utilisant AWS Outposts

Exécution d'Amazon EMR sur EKS à l'aide de AWS Outposts