Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Caratteristiche e funzionalità
Piattaforme supportate
-
Linguaggi: applicazioni Python e Scala Spark
-
Piattaforme target: Amazon EMR, EMR Serverless e Glue AWS
Come funziona
Quando l'applicazione Spark si guasta, puoi utilizzare l'agente di risoluzione dei problemi per indagare automaticamente su cosa è andato storto. Analizza i registri degli eventi di Spark, i messaggi di errore e l'utilizzo delle risorse per individuare il problema esatto, che si tratti di un esecutore Spark che sta esaurendo la memoria, di un errore di configurazione o di un bug del codice.
Quando richiedi un prompt in linguaggio naturale per analizzare il tuo carico di lavoro Spark, l'agente si connette alle risorse della tua piattaforma ed estrae le funzionalità (che includono registri degli eventi Spark, piani di query, timeline degli esecutori, tracce di registro, configurazioni e metriche):
-
Su EMR-EC2: si connette all'interfaccia utente persistente EMR per il cluster
-
On Glue: crea il contesto dall'interfaccia utente Spark di Glue Studio per il lavoro
-
Su EMR-Serverless: si connette allo Spark History Server EMR-Serverless per il lavoro
-
L'agente analizza anche le tracce dello stack di errori e i dettagli di configurazione per fornirti informazioni utili.
Per i carichi di lavoro non riusciti, ottieni una chiara spiegazione della causa principale e i passaggi specifici per risolverlo. Se l'agente rileva un problema relativo al codice, fornisce automaticamente consigli sul codice per mostrarti esattamente cosa modificare nel codice. Puoi anche richiedere suggerimenti a livello di codice direttamente ogni volta che li desideri senza l'analisi completa.
Regioni disponibili
Lo Spark Troubleshooting Agent è disponibile nelle seguenti regioni:
-
Asia Pacifico: Tokyo (ap-northeast-1), Seul (ap-northeast-2), Singapore (ap-southeast-1), Sydney (ap-southeast-2) e Mumbai (ap-southeast-2) e Mumbai (ap-south-1)
-
Nord America: Canada (ca-central-1)
-
Europa: Stoccolma (eu-north-1), Irlanda (eu-west-1), Londra (eu-west-2), Parigi (eu-west-3) e Francoforte (eu-central-1)
-
Sud America: San Paolo (sa-east-1)
-
Stati Uniti: Virginia del Nord (us-east-1), Ohio (us-east-2) e Oregon (us-west-2)
Ambito di applicazione della risoluzione dei problemi di Spark e requisiti utente
-
Stati di carico di lavoro Spark supportati: gli strumenti supporteranno solo le risposte per i carichi di lavoro Spark non riusciti.
-
Interfaccia utente persistente EMR: durante l'analisi dei carichi di lavoro di Amazon EMR EC2 -, lo strumento di analisi tenterà di connettersi all'interfaccia utente persistente di EMR per recuperare le informazioni chiave di Spark. Le considerazioni relative all'interfaccia utente persistente di EMR sono documentate qui.
-
Interfaccia utente Glue Studio Spark: durante l'analisi dei carichi di lavoro di AWS Glue, lo strumento di analisi tenterà di recuperare le informazioni chiave di Spark analizzando i registri degli eventi Spark dell'utente da Amazon S3. La dimensione massima consentita del registro degli eventi Spark è documentata qui: 512 MB e 2 GB per i log in sequenza.
-
Codice consigliato: supportato solo per i carichi di lavoro Amazon EMR e EC2 AWS Glue per carichi di lavoro PySpark
-
Risorse regionali: lo Spark Troubleshooting Agent è regionale e utilizza le risorse EMR sottostanti in quella regione per il processo di risoluzione dei problemi. La risoluzione dei problemi tra aree geografiche non è supportata.
