Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Simultanéité des tâches et mise en file d'attente pour une application EMR Serverless
À partir de la version 7.0.0 d'Amazon EMR et des versions ultérieures, spécifiez le délai d'exécution des tâches dans la file d'attente et la configuration de la simultanéité pour votre application. Lorsque vous spécifiez cette configuration, Amazon EMR Serverless commence par mettre votre tâche en file d'attente et commence son exécution en fonction de l'utilisation de la simultanéité sur votre application. Par exemple, si la simultanéité d'exécution de vos tâches est de 10, seules dix tâches sont exécutées à la fois sur votre application. Les tâches restantes sont mises en file d'attente jusqu'à la fin de l'une des tâches en cours. Si le délai d'attente est dépassé plus tôt, votre tâche expirera. Pour plus d'informations, reportez-vous à États gérés par l'emploi.
Principaux avantages de la simultanéité et de la mise en file d'attente
La simultanéité des tâches et la mise en file d'attente offrent les avantages suivants lorsque de nombreuses offres d'emploi sont requises :
Il permet de contrôler les tâches exécutées simultanément afin d'utiliser efficacement les limites de capacité au niveau de votre application.
La file d'attente peut contenir une rafale soudaine de soumissions de tâches, avec un paramètre de délai d'attente configurable.
Commencer à utiliser la simultanéité et la mise en file d'attente
Les procédures suivantes présentent différentes manières de mettre en œuvre la simultanéité et la mise en file d'attente.
À l'aide du AWS CLI
Créez une application Amazon EMR Serverless avec un délai d'attente et des exécutions de tâches simultanées :
aws emr-serverless create-application \ --release-label emr-7.0.0 \ --type SPARK \ --scheduler-configuration '{"maxConcurrentRuns": 1, "queueTimeoutMinutes": 30}'Mettez à jour une application pour modifier le délai d'attente et la simultanéité des tâches :
aws emr-serverless update-application \ --application-idapplication-id\ --scheduler-configuration '{"maxConcurrentRuns": 5, "queueTimeoutMinutes": 30}'NoteVous pouvez mettre à jour votre candidature existante pour activer la simultanéité des tâches et la mise en file d'attente. Pour ce faire, l'application doit disposer d'une étiquette de sortie emr-7.0.0 ou plus tard.
À l'aide du Console de gestion AWS
Les étapes suivantes montrent comment démarrer avec la simultanéité des tâches et la mise en file d'attente à l'aide du Console de gestion AWS:
Accédez à EMR Studio et choisissez de créer une application avec le label de sortie EMR-7.0.0 ou supérieur.
En dessous Options de configuration de l'application, sélectionnez l'option Utiliser les paramètres personnalisés.
En dessous Configurations supplémentaires il y a une section pour Paramètres d'exécution des tâches. Sélectionnez l'option Activer la simultanéité des tâches pour activer la fonctionnalité.
Après la sélection, sélectionnez Exécutions de tâches simultanées et Délai d'attente pour configurer respectivement le nombre d'exécutions de tâches simultanées et le délai d'attente de la file d'attente. Si vous ne saisissez aucune valeur pour ces paramètres, les valeurs par défaut sont utilisées.
Choisissez Créer une application et l'application sera créée avec cette fonctionnalité activée. Pour vérifier, accédez au tableau de bord, sélectionnez votre application et vérifiez dans l'onglet Propriétés si la fonctionnalité est activée.
Après la configuration, soumettez les tâches avec cette fonctionnalité activée.
Considérations relatives à la simultanéité et à la mise en file d'attente
Tenez compte des éléments suivants lorsque vous implémentez la simultanéité et la mise en file d'attente :
La simultanéité des tâches et la mise en file d'attente sont prises en charge sur les versions 7.0.0 et supérieures d'Amazon EMR.
La simultanéité des tâches et la mise en file d'attente sont activées par défaut sur les versions 7.3.0 et supérieures d'Amazon EMR.
Vous pouvez mettre à jour
maxConcurrentRunspour une application dans le COMMENCÉ état.La plage valide pour
maxConcurrentRunsest compris entre 1 et 1000, et pourqueueTimeoutMinutesil est compris entre 15 et 720.Un maximum de 2 000 emplois peuvent être occupés dans le EN FILE D'ATTENTE état pour un compte.
La simultanéité et la mise en file d'attente s'appliquent aux tâches par lots et en streaming. Il ne peut pas être utilisé pour des tâches interactives. Pour plus d'informations, reportez-vous à Exécutez des charges de travail interactives avec EMR Serverless via EMR Studio.