View a markdown version of this page

Exécuter AWS Batch charges de travail avec Step Functions - AWS Step Functions

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécuter AWS Batch charges de travail avec Step Functions

Vous pouvez intégrer Step Functions à AWS Batch pour exécuter des charges de travail informatiques par lots dans le AWS nuage. Cette page répertorie les AWS Batch API et fournit un exemple Task état pour effectuer une tâche de traitement par lots.

Pour en savoir plus sur l'intégration avec AWS services dans Step Functions, voir Intégration des services et Transmission de paramètres à une API de service dans Step Functions.

Principales fonctionnalités d'Optimized AWS Batch intégration

Notez qu'il n'existe aucune optimisation spécifique pour Réponse à la requête ou Attendez un rappel avec un jeton de tâche modèles d'intégration.

Ce qui suit montre un exemple Task État qui soumet un AWS Batch travail et attend qu'il soit terminé. La plupart des arguments présentés sont facultatifs.

"Submit Batch Job": { "Type": "Task", "Resource": "arn:aws:states:::batch:submitJob.sync", "Arguments": { "JobName": "BATCH_NAME", "JobQueue": "BATCH_QUEUE_ARN", "JobDefinition": "BATCH_JOB_DEFINITION_ARN", "ArrayProperties": { "Size": 10 }, "ContainerOverrides": { "ResourceRequirements": [ { "Type": "VCPU", "Value": "4" } ] }, "DependsOn": [ { "JobId": "myJobId", "Type": "SEQUENTIAL" } ], "PropagateTags": true, "Parameters": { "Key1": "value1", "Key2": "100" }, "RetryStrategy": { "Attempts": 1 }, "Tags": { "Tag": "TAG" }, "Timeout": { "AttemptDurationSeconds": 10 } } }

Exécutez des tâches parallèles multi-conteneurs, Amazon EKS et multi-nœuds

Avec batch:submitJob.sync, des emplois qui utilisent ecsProperties ou eksProperties ont besoin de la dérogation correspondante dans le Task état. Sans cette dérogation, le Task l'état échoue avec Batch.ClientException.

Pour ecsProperties jobs, utilisez la dérogation minimale suivante :

"EcsPropertiesOverride": { "TaskProperties": [ {} ] }

Pour eksProperties jobs, utilisez la dérogation minimale suivante :

"EksPropertiesOverride": { "PodProperties": {} }
Important

Pour ces tâches et pour les tâches parallèles multi-nœuds, Step Functions détecte l'achèvement uniquement en appelant DescribeJobs. Ces appels sont pris en compte dans le calcul de votre compte DescribeJobs quota. Si AWS Batch limite ces appels, le Task L'état peut rester en cours une fois la tâche terminée, jusqu'à ce qu'un appel ultérieur aboutisse.

Pour signaler l'achèvement plus rapidement, transmettez le jeton de tâche à la tâche dans Parameters. Lorsque le travail est terminé, appelez SendTaskSuccess ou SendTaskFailure depuis le lieu de travail avec ce jeton.

"Parameters": { "TaskToken": "{% $states.context.Task.Token %}" }

Dans la définition de la tâche, faites référence au jeton dans la commande du conteneur comme Ref::TaskToken. Pour plus d’informations, consultez Exécuter une tâche (.sync).

Optimisé AWS Batch API :

Paramètres dans Fonctions de l'étape sont exprimés en PascalCase

Même si l'API du service natif se trouve dans CamelCase, par exemple l'action de l'API startSyncExecution, vous spécifiez des paramètres dans PascalCase, tels que : StateMachineArn.

Politiques IAM relatives aux appels AWS Batch

Les exemples de modèles suivants montrent comment AWS Step Functions génère des politiques IAM en fonction des ressources de votre définition de machine à états. Pour plus d’informations, consultez Comment Step Functions génère des politiques IAM pour les services intégrés et Découvrez les modèles d'intégration des services dans Step Functions.

Parce que le travail est fait pour SubmitJob et TerminateJob sont générés et ne sont donc connus qu'au moment de l'exécution, vous ne pouvez pas créer de politique qui restreint l'accès en fonction d'une ressource spécifique.

Astuce pour un accès précis

Pour ajouter un accès précis à SubmitJob et TerminateJob, pensez à utiliser des balises pour les offres d'emploi et à créer une politique qui limite l'accès en fonction de vos balises. En outre, la file d'attente des tâches, la définition et les ressources consommables peuvent être limitées pour SubmitJob en utilisant des ressources connues.

Run a Job (.sync)
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "batch:SubmitJob", "batch:DescribeJobs", "batch:TerminateJob" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "events:PutTargets", "events:PutRule", "events:DescribeRule" ], "Resource": [ "arn:aws:events:us-east-1:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule" ] } ] }
Request Response
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "batch:SubmitJob" ], "Resource": "*" } ] }