View a markdown version of this page

Concorrenza e accodamento dei lavori per un'applicazione EMR Serverless - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Concorrenza e accodamento dei lavori per un'applicazione EMR Serverless

A partire dalla versione 7.0.0 e successive di Amazon EMR, specifica il timeout della coda di esecuzione dei processi e la configurazione della concorrenza per la tua applicazione. Quando specifichi questa configurazione, Amazon EMR Serverless inizia mettendo in coda il processo e inizia l'esecuzione in base all'utilizzo della concorrenza nell'applicazione. Ad esempio, se la concorrenza dell'esecuzione dei processi è 10, sull'applicazione vengono eseguiti solo dieci processi alla volta. I lavori rimanenti vengono messi in coda fino al termine di uno dei processi in esecuzione. Se il timeout della coda viene raggiunto prima, il tuo lavoro scade. Per ulteriori informazioni, consulta Stati di esecuzione del processo.

Principali vantaggi della concorrenza e dell'accodamento

La concorrenza e l'accodamento dei lavori offrono i seguenti vantaggi quando sono richiesti molti invii di lavoro:

  • Aiuta a controllare i lavori in esecuzione simultanea per utilizzare in modo efficiente i limiti di capacità a livello di applicazione.

  • La coda può contenere un'improvvisa ondata di invii di lavori, con un'impostazione di timeout configurabile.

Guida introduttiva alla concorrenza e all'accodamento

Le procedure seguenti illustrano un paio di modi diversi per implementare la concorrenza e l'accodamento.

Utilizzando il AWS CLI

  1. Crea un'applicazione Amazon EMR Serverless con timeout della coda ed esecuzioni simultanee di processi:

    aws emr-serverless create-application \ --release-label emr-7.0.0 \ --type SPARK \ --scheduler-configuration '{"maxConcurrentRuns": 1, "queueTimeoutMinutes": 30}'
  2. Aggiorna un'applicazione per modificare il timeout e la concorrenza della coda dei lavori:

    aws emr-serverless update-application \ --application-id application-id \ --scheduler-configuration '{"maxConcurrentRuns": 5, "queueTimeoutMinutes": 30}'
    Nota

    È possibile aggiornare l'applicazione esistente per abilitare la concorrenza e l'accodamento dei lavori. A tale scopo, l'applicazione deve avere un'etichetta di rilascio emr-7.0.0 o più tardi.

Usando il Console di gestione AWS

I passaggi seguenti mostrano come iniziare con la concorrenza e l'accodamento dei lavori, utilizzando Console di gestione AWS:

  1. Vai a EMR Studio e scegli di creare un'applicazione con etichetta di rilascio EMR-7.0.0 o superiore.

  2. Sotto Opzioni di configurazione dell'applicazione, seleziona l'opzione Usa impostazioni personalizzate.

  3. Sotto Configurazioni aggiuntive c'è una sezione per Impostazioni Job Run. Seleziona l'opzione Abilita la concorrenza dei lavori per abilitare la funzionalità.

  4. Dopo la selezione, seleziona Esecuzioni di processi simultanee e Timeout della coda per configurare rispettivamente il numero di esecuzioni di processi simultanee e il timeout della coda. Se non si immettono valori per queste impostazioni, vengono utilizzati i valori predefiniti.

  5. Scegli Crea applicazione e l'applicazione verrà creata con questa funzionalità abilitata. Per verificare, vai alla dashboard, seleziona la tua applicazione e controlla nella scheda delle proprietà per determinare se la funzione è abilitata.

Dopo la configurazione, invia lavori con questa funzionalità abilitata.

Considerazioni sulla concorrenza e sull'accodamento

Quando implementate la concorrenza e l'accodamento, tenete in considerazione quanto segue:

  • La concorrenza e l'accodamento dei processi sono supportati su Amazon EMR versione 7.0.0 e successive.

  • La concorrenza e l'accodamento dei processi sono abilitati per impostazione predefinita su Amazon EMR versione 7.3.0 e successive.

  • Puoi effettuare l'aggiornamento maxConcurrentRuns per un'applicazione in INIZIATO stato.

  • L'intervallo valido per maxConcurrentRuns è compreso tra 1 e 1000 e per queueTimeoutMinutes è compreso tra 15 e 720.

  • Un massimo di 2000 posti di lavoro possono essere presenti in IN CODA stato di un account.

  • La concorrenza e l'accodamento si applicano ai processi in batch e in streaming. Non può essere utilizzato per lavori interattivi. Per ulteriori informazioni, fare riferimento a Esegui carichi di lavoro interattivi con EMR Serverless tramite EMR Studio.