View a markdown version of this page

Meilleures pratiques en matière d'observabilité des EMR - Amazon EMR
Outil d'optimisation des performances pour les applications Apache Spark

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Meilleures pratiques en matière d'observabilité des EMR

L'observabilité des EMR englobe une approche complète de surveillance et de gestion pour AWS Clusters EMR. La base repose sur Amazon CloudWatch en tant que service de surveillance principal, complété par EMR Studio et des outils tiers tels que Prometheus et Grafana pour une visibilité accrue. Dans ce document, nous explorons des aspects spécifiques de l'observabilité des clusters :

  1. Observabilité de Spark (GitHub) — En ce qui concerne l'interface utilisateur de Spark, vous disposez de trois options dans Amazon EMR.

  2. Résolution des problèmes liés à (GitHub) — Résolutions pour les erreurs.

  3. Surveillance du cluster EMR (GitHub) — Surveillance des performances du cluster.

  4. Résolution des problèmes liés aux EMR (GitHub) — Identifiez, diagnostiquez et résolvez les problèmes courants liés aux clusters EMR.

  5. Optimisation des coûts (GitHub) — Cette section décrit les meilleures pratiques pour gérer des charges de travail rentables.

Outil d'optimisation des performances pour les applications Apache Spark

  1. AWS Conseiller EMR L'outil analyse les journaux d'événements Spark pour fournir des recommandations personnalisées pour optimiser les configurations des clusters EMR, améliorer les performances et réduire les coûts. En exploitant les données historiques, il suggère des tailles d'exécuteurs et des paramètres d'infrastructure idéaux, permettant une utilisation plus efficace des ressources et une amélioration des performances globales du cluster.

  2. Amazon CodeGuru Profileur Cet outil aide les développeurs à identifier les problèmes de performances et les inefficacités de leurs applications Spark en collectant et en analysant les données d'exécution. L'outil s'intègre parfaitement aux applications Spark existantes, ne nécessitant qu'une configuration minimale, et fournit des informations détaillées via le AWS Console sur l'utilisation du processeur, les modèles de mémoire et les points névralgiques de performances.