View a markdown version of this page

Debug di lavori e sessioni - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Debug di lavori e sessioni

Nota

Con questa funzionalità, accedi ai log stdout e stderr per i lavoratori del profilo di sistema che possono contenere informazioni sensibili e non filtrate. La seguente autorizzazione deve essere utilizzata solo per accedere ai dati non di produzione. Per le applicazioni create per essere utilizzate con lavori di produzione, consigliamo vivamente di aggiungere queste autorizzazioni solo agli amministratori o agli utenti con accesso elevato ai dati.

Amazon EMR Serverless offre una funzionalità di autodebug che consente di accedere ai log stdout e stderr dei system profile worker per un carico di lavoro Lake. Formation-enabled Per utilizzarlo, imposta il parametro di accesso su true nell'API del dashboard per il tipo di carico di lavoro SystemProfileLogs:

  • Per un processo Formation-enabled batch di Lake (EMR-7.3.0 e versioni successive), usa l'GetDashboardForJobRunAPI.

  • Per una sessione Lake Formation-enabled Spark Connect (emr-7.14.0e successive o emr-spark-8.1.0 successive), usa l'GetResourceDashboardAPI con resourcetype impostato su SESSION.

aws emr-serverless get-dashboard-for-job-run \ --application-id application-id --job-run-id job-run-id --access-system-profile-logs
aws emr-serverless get-resource-dashboard \ --application-id application-id \ --resource-id session-id \ --resource-type SESSION \ --access-system-profile-logs

Autorizzazioni richieste

Il principale che desidera eseguire il debug automatico deve disporre delle seguenti autorizzazioni aggiuntive. I // commenti contrassegnano l'ARN dell'azione e della risorsa da applicare a un processo batch rispetto a una sessione Spark Connect: conserva le voci relative al tipo di carico di lavoro e rimuovi i commenti prima di utilizzare la policy, poiché JSON non supporta i commenti.

{ "Sid": "AccessSystemProfileLogs", "Effect": "Allow", "Action": [ "emr-serverless:GetDashboardForJobRun", // batch job "emr-serverless:GetResourceDashboard", // Spark Connect session "emr-serverless:AccessSystemProfileLogs", "glue:GetDatabases", "glue:SearchTables" ], "Resource": [ "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid", // batch job "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId", // Spark Connect session "arn:aws:glue:region:account-id:catalog", "arn:aws:glue:region:account-id:database/*", "arn:aws:glue:region:account-id:table/*/*" ] }

Considerazioni

I log dei profili di sistema per il debug sono visibili per i lavori e le sessioni che accedono ai database o alle tabelle in Lake Formation all'interno dello stesso account del lavoro o della sessione. Non sono visibili nei seguenti scenari:

  • Se il catalogo dati gestito utilizzando le autorizzazioni di Lake Formation ha database e tabelle tra account

  • Se il catalogo dati gestito utilizzando le autorizzazioni di Lake Formation contiene collegamenti alle risorse