Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Qu'est-ce que l'agent de dépannage Apache Spark pour Amazon EMR et AWS Glue
Introduction
L'agent de dépannage Apache Spark pour Amazon EMR est une fonctionnalité d'IA conversationnelle qui simplifie le dépannage des applications Apache Spark sur Amazon EMR (EMR sur EC2, EMR sans serveur et EMR sur EKS), Glue et Amazon Notebooks. AWS SageMaker Le dépannage traditionnel de Spark nécessite une analyse manuelle approfondie des journaux, des mesures de performance et des modèles d'erreur afin d'identifier les causes premières et de corriger le code. L'agent simplifie ce processus grâce à des instructions en langage naturel, à une analyse automatique de la charge de travail et à des recommandations de code intelligentes.
Vous pouvez utiliser l'agent pour résoudre les problèmes PySpark et les défaillances des applications Scala. L'agent analyse vos tâches ayant échoué, identifie les goulots d'étranglement liés aux performances et fournit des recommandations exploitables et des corrections de code tout en vous donnant un contrôle total sur les décisions de mise en œuvre.
Note
L'agent de dépannage Apache Spark est disponible gratuitement dans le cadre d'Amazon EMR. L'agent fournit uniquement des analyses et des recommandations. Vous ne payez que pour les ressources Amazon EMR que vous utilisez lorsque vous exécutez vos applications afin de valider les correctifs recommandés.
Présentation de l'architecture
L'agent de dépannage comprend trois composants principaux : un assistant MCP-compatible IA intégré à votre environnement de développement pour les interactions, le proxy MCP AWS
L'assistant IA orchestrera le dépannage à l'aide d'outils spécialisés fournis par le serveur MCP en suivant les étapes suivantes :
-
Extraction de fonctionnalités et création de contexte : l'agent collecte et analyse automatiquement les données de télémétrie de votre application Spark, y compris les journaux du serveur Spark History, les paramètres de configuration et les traces d'erreurs. Il extrait les indicateurs de performance clés, les modèles d'utilisation des ressources et les signatures de défaillance afin de créer un profil contextuel complet pour un dépannage intelligent.
-
Analyseur GenAI Root Cause et moteur de recommandation : l'agent exploite les modèles d'IA et la base de connaissances Spark pour corréler les fonctionnalités extraites et identifier les causes profondes des problèmes de performance ou des défaillances. Il fournit des informations de diagnostic et une analyse des problèmes rencontrés lors de l'exécution de votre application Spark.
-
Recommandation de code GenAI Spark : sur la base de l'analyse des causes premières de l'étape précédente, l'agent analyse vos modèles de code existants et identifie les opérations inefficaces nécessitant des corrections de code en cas de défaillance de l'application. Il fournit des recommandations exploitables, notamment des modifications de code spécifiques, des ajustements de configuration et des améliorations architecturales avec des exemples concrets.
Rubriques
Le flux de travail des agents de dépannage de Spark en détail
Configuration des points de terminaison VPC d'interface pour Amazon Unified Studio MCP SageMaker
Traitement interrégional pour l'agent de résolution des problèmes Apache Spark
Journalisation des appels MCP Amazon SageMaker Unified Studio à l'aide de AWS CloudTrail
