View a markdown version of this page

Esecuzione AWS Batch carichi di lavoro con Step Functions - AWS Step Functions

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esecuzione AWS Batch carichi di lavoro con Step Functions

Puoi integrare Step Functions con AWS Batch per eseguire carichi di lavoro di elaborazione in batch in AWS cloud. Questa pagina elenca i supportati AWS Batch API e fornisce un esempio Task stato per eseguire un'attività di elaborazione in batch.

Per saperne di più sull'integrazione con AWS servizi in Step Functions, vedi Integrazione dei servizi e Passaggio di parametri a un'API di servizio in Step Functions.

Caratteristiche principali di Optimized AWS Batch integrazione

Nota che non ci sono ottimizzazioni specifiche per Richiesta e risposta o Attendi una richiamata con Task Token modelli di integrazione.

Di seguito viene mostrato un esempio Task stato che invia un AWS Batch lavoro e attende che venga completato. Molti degli argomenti mostrati sono opzionali.

"Submit Batch Job": { "Type": "Task", "Resource": "arn:aws:states:::batch:submitJob.sync", "Arguments": { "JobName": "BATCH_NAME", "JobQueue": "BATCH_QUEUE_ARN", "JobDefinition": "BATCH_JOB_DEFINITION_ARN", "ArrayProperties": { "Size": 10 }, "ContainerOverrides": { "ResourceRequirements": [ { "Type": "VCPU", "Value": "4" } ] }, "DependsOn": [ { "JobId": "myJobId", "Type": "SEQUENTIAL" } ], "PropagateTags": true, "Parameters": { "Key1": "value1", "Key2": "100" }, "RetryStrategy": { "Attempts": 1 }, "Tags": { "Tag": "TAG" }, "Timeout": { "AttemptDurationSeconds": 10 } } }

Esegui processi paralleli su più contenitori, Amazon EKS e multinodo

Con batch:submitJob.sync, lavori che utilizzano ecsProperties o eksProperties è necessario l'override corrispondente in Task stato. Senza l'override, Task lo stato fallisce con Batch.ClientException.

Per ecsProperties per i lavori, usa la seguente sostituzione minima:

"EcsPropertiesOverride": { "TaskProperties": [ {} ] }

Per eksProperties per i lavori, usa la seguente sostituzione minima:

"EksPropertiesOverride": { "PodProperties": {} }
Importante

Per questi processi e per i lavori paralleli con più nodi, Step Functions rileva il completamento solo chiamando DescribeJobs. Queste chiamate vengono conteggiate per il tuo account DescribeJobs quota. Se AWS Batch limita queste chiamate, Task lo stato potrebbe rimanere in corso dopo la fine del lavoro, fino al completamento di una chiamata successiva.

Per segnalare il completamento anticipato, passa il token dell'attività al job in Parameters. Quando il lavoro finisce, chiama SendTaskSuccess o SendTaskFailure dal lavoro con quel token.

"Parameters": { "TaskToken": "{% $states.context.Task.Token %}" }

Nella definizione del job, fai riferimento al token nel comando container come Ref::TaskToken. Per ulteriori informazioni, consulta Esegui un processo (.sync).

Ottimizzato AWS Batch API:

Parametri in Funzioni Step sono espressi in PascalCase

Anche se l'API del servizio nativa è in camelCase, ad esempio l'azione API startSyncExecution, si specificano i parametri in PascalCase, ad esempio: StateMachineArn.

Politiche IAM per le chiamate AWS Batch

I seguenti modelli di esempio mostrano come AWS Step Functions genera policy IAM in base alle risorse nella definizione della macchina a stati. Per ulteriori informazioni, consulta In che modo Step Functions genera policy IAM per servizi integrati e Scopri i modelli di integrazione dei servizi in Step Functions.

Perché il lavoro è per SubmitJob e TerminateJob vengono generati e quindi noti solo in fase di esecuzione, non è possibile creare una policy che limiti l'accesso in base a una risorsa specifica.

Suggerimento per un accesso granulare

Per aggiungere un accesso granulare a SubmitJob e TerminateJob, valuta la possibilità di utilizzare i tag per le offerte di lavoro e di creare una politica che limiti l'accesso in base ai tag. Inoltre, la coda dei lavori, la definizione e le risorse consumabili possono essere limitate a SubmitJob utilizzando risorse note.

Run a Job (.sync)
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "batch:SubmitJob", "batch:DescribeJobs", "batch:TerminateJob" ], "Resource": "*" }, { "Effect": "Allow", "Action": [ "events:PutTargets", "events:PutRule", "events:DescribeRule" ], "Resource": [ "arn:aws:events:us-east-1:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule" ] } ] }
Request Response
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "batch:SubmitJob" ], "Resource": "*" } ] }