Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Introducción al AWS Batch en Amazon EKS
AWS Batch en Amazon EKS es un servicio gestionado para programar y escalar cargas de trabajo por lotes en clústeres de Amazon EKS existentes. AWS Batch no crea, administra ni realiza las operaciones del ciclo de vida de sus clústeres de Amazon EKS en su nombre. AWS Batch la orquestación amplía y reduce los nodos gestionados por AWS Batch y ejecute pods en esos nodos.
Este tutorial utiliza las entradas de acceso de Amazon EKS para la autenticación de clústeres. Las entradas de acceso son el método recomendado y son obligatorias para los clústeres de Amazon EKS cuyo authenticationMode es API. También están disponibles para los clústeres de Amazon EKS cuyos authenticationMode es API_AND_CONFIG_MAP.
Si tu clúster es authenticationMode es CONFIG_MAP, le recomendamos que actualice su clúster a API_AND_CONFIG_MAP para que puedas seguir este tutorial. Para usar el legado aws-auth ConfigMap enfoque, consulte Introducción al AWS Batch en Amazon EKS usando ConfigMap autenticación.
Para obtener más información sobre los métodos de autenticación, consulte autenticación de entradas de acceso a Amazon EKS.
AWS Batch no toca los nodos, los ciclos de vida de los pods o grupos de nodos con escalado automático que no estén asociados a AWS Batch entornos informáticos dentro de su clúster de Amazon EKS. Para AWS Batch para operar de manera efectiva, es rol vinculado al servicio necesita acceder a su clúster de Amazon EKS existente. AWS Batch crea una entrada de acceso a Amazon EKS para la función vinculada al servicio y usted asocia una política de acceso que la concede AWS Batch permisos en su espacio de nombres.
AWS Batch requiere un Kubernetes espacio de nombres donde puede definir los pods como AWS Batch trabajos en. Recomendamos un espacio de nombres dedicado para aislar el AWS Batch los pods de las demás cargas de trabajo del clúster.
Una vez establecido un espacio de nombres, puede asociar ese clúster de Amazon EKS a un AWS Batch entorno informático mediante el CreateComputeEnvironment operación de API. Se puede asociar una cola de trabajos a este nuevo entorno informático de Amazon EKS. AWS Batch los trabajos se envían a la cola de trabajos según una definición de trabajo de Amazon EKS mediante el SubmitJob Operación de API. AWS Batch luego se lanza AWS Batch administró los nodos y colocó los trabajos de la cola de trabajos como Kubernetes se alojan en el clúster de EKS asociado a un AWS Batch entorno informático.
En las siguientes secciones se explica cómo configurar para AWS Batch en Amazon EKS.
Descripción general de
Este tutorial muestra cómo configurar AWS Batch con Amazon EKS mediante el AWS CLI, kubectl y eksctl.
- Público objetivo
-
Este tutorial está diseñado para los administradores y desarrolladores de sistemas responsables de la configuración, las pruebas y la implementación de AWS Batch.
- Funciones utilizadas
-
En este tutorial se muestra cómo utilizar el AWS CLI, para:
-
crear y configurar un entorno de computación de Amazon EKS,
-
crear una cola de trabajos,
-
crear una definición de trabajo,
-
crear y enviar un flujo de trabajo para ejecutarlo,
-
enviar un trabajo con anulaciones.
-
- Tiempo requerido
-
Completar este tutorial debería tardar entre 30 y 40 minutos.
- Restricciones regionales
-
No hay restricciones regionales o de país asociadas al uso de esta solución.
- Costos de uso de recursos
-
No se cobra nada por crear un AWS cuenta. Sin embargo, mediante la implementación de esta solución, es posible que incurra en algunos o todos los costos que se enumeran en la siguiente tabla.
Description (Descripción) Costo (dólares estadounidenses) El cobro será por hora de uso del clúster Varía según la instancia. Consulte los precios de Amazon EKS
Requisitos previos
Antes de comenzar este tutorial, debe instalar y configurar las siguientes herramientas y recursos que necesita para crear y administrar ambos AWS Batch y recursos de Amazon EKS.
-
AWS CLI: una herramienta de línea de comandos para trabajar con servicios de AWS , incluido Amazon EKS. Esta guía requiere que utilice la versión 2.37.7 o una posterior del AWS CLI versión 2. Las versiones anteriores no son compatibles con
accessEntryparámetro. Para obtener más información, consulte Instalar, actualizar y desinstalar la AWS CLI en la Guía del usuario de AWS Command Line Interface . Tras instalar el AWS CLI, le recomendamos que también lo configure. Para obtener más información, consulte Configuración rápida conaws configureen la Guía del usuario de AWS Command Line Interface . -
kubectl: una herramienta de línea de comandos para trabajar con clústeres de Kubernetes. Utilice unkubectlversión que tenga una diferencia de versión menor con respecto a la de su clúster Kubernetes versión. Para obtener más información, consulte Instalación o actualización dekubectlen la Guía del usuario de Amazon EKS. -
: una herramienta de línea de comandos para trabajar con clústeres de Amazon EKS que automatiza varias tareas individuales. Esta guía requiere que utilice la versióneksctl0.167.0o una posterior. Para obtener más información, consulte Instalación o actualización deen la Guía del usuario de Amazon EKS.eksctl -
Permisos de IAM necesarios — El director de seguridad de IAM que esté utilizando debe tener permisos para trabajar con las funciones de IAM de Amazon EKS y las funciones vinculadas a servicios, CloudFormation, y una VPC y recursos relacionados. Para obtener más información, consulte Acciones, recursos y claves de condición de Amazon Elastic Kubernetes Service y Uso de roles vinculados a servicios en la Guía del usuario de IAM. Debe completar todos los pasos de esta guía como el mismo usuario.
-
Permisos — Usuarios que llaman al CreateComputeEnvironment La operación de la API para crear un entorno informático que utilice los recursos de Amazon EKS requiere permisos para
eks:DescribeClusterOperación de API. Al usar entradas de acceso, AWS Batch administra la entrada de acceso con sus credenciales, por lo que también necesita permisos para administrar las entradas de acceso de Amazon EKS:eks:DescribeAccessEntry,eks:CreateAccessEntry,eks:AssociateAccessPolicy, yeks:DeleteAccessEntry. Para obtener más información, consulte Permisos necesarios. -
Cuenta de AWS número — Necesitas saber tu Cuenta de AWS NIÑA. Siga las instrucciones que se indican en Visualización de su ID de Cuenta de AWS.
(Opcional) CloudWatch — Para examinar los detalles de (Opcional) Envía un trabajo con anulaciones, el registro debe estar configurado. Para obtener más información, consulte Utilice CloudWatch los registros para supervisar AWS Batch los trabajos de Amazon EKS.
Paso 1: Cree su clúster de Amazon EKS para AWS Batch
Para comenzar de la manera más sencilla y rápida posible, en este tutorial se incluirán los pasos con la configuración predeterminada. Antes de crear para su uso en producción, recomendamos que conozca toda la configuración e implemente la configuración que satisfaga sus requisitos.
Tras haber instalado los requisitos previos, debe crear su clúster con eksctl. Crear el clúster puede tardar entre 10 y 15 minutos.
$eksctl create cluster --namemy-cluster-name--regionregion-code
Sustituya en el comando anterior:
-
Reemplazar
my-cluster-namecon el nombre que desea usar para su clúster. -
Reemplazar
region-codecon el Región de AWS para crear el clúster en, por ejemplous-west-2.
El nombre y la región del clúster serán necesarios en otro momento para este tutorial.
Paso 2: Prepare su clúster de Amazon EKS para AWS Batch
Este método utiliza las entradas de acceso de Amazon EKS para conceder AWS Batch acceso al clúster. Elimina la necesidad de una configuración manual del RBAC y aws-auth ConfigMap ediciones.
-
Crea un espacio de nombres dedicado para AWS Batch jobs
Se utiliza
kubectlpara crear un nuevo espacio de nombres.$namespace=my-aws-batch-namespace$cat - <<EOF | kubectl create -f - { "apiVersion": "v1", "kind": "Namespace", "metadata": { "name": "${namespace}", "labels": { "name": "${namespace}" } } } EOFSalida:
namespace/my-aws-batch-namespace created -
Configure el acceso al clúster para la función de instancia de nodo
Instancias lanzadas por AWS Batch únase al clúster mediante el perfil de instancia que especifique en
computeResources.instanceRolecuando crees el entorno de procesamiento en el siguiente paso. Esa función necesita su propio acceso al clúster, que es independiente del AWS Batch-entrada de acceso administrado.El rol de instancia de nodo se crea al crear el clúster. Para encontrar el rol de instancia de nodo, lista todas las entidades que usan el
AmazonEKSWorkerNodePolicypolítica:$aws iam list-entities-for-policy --policy-arn arn:aws:iam::aws:policy/AmazonEKSWorkerNodePolicyEl comando muestra todos los roles que usan esta política. Elija el rol cuyo nombre contenga el nombre de su clúster, por ejemplo
eksctl-.my-cluster-name-nodegroup-exampleEste paso solo es necesario si el rol de instancia de nodo aún no tiene una entrada de acceso en el clúster. Por ejemplo, Amazon EKS suele crear una entrada de acceso para la función de nodo de un grupo de nodos gestionado, como el que
eksctlcreado en el paso 1. Para comprobar si el rol ya tiene una entrada de acceso, ejecute el siguiente comando:$aws eks describe-access-entry \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-exampleReemplazar
eksctl-my-cluster-name-nodegroup-examplecon el nombre del rol de instancia de nodo devuelto por el comando anterior.Si el comando devuelve la entrada de acceso, omita el resto de este paso. Si devuelve un
ResourceNotFoundExceptionerror, crea una entrada de acceso para el rol de instancia de nodo:$aws eks create-access-entry \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/eksctl-my-cluster-name-nodegroup-example\ --type EC2_LINUXnotaEn clústeres cuyo
authenticationModeesAPI_AND_CONFIG_MAP, si el rol de instancia del nodo ya está mapeado en elaws-authConfigMap, también puedes saltarte este paso. Los nodos se unen correctamente mediante el ConfigMap entrada. En clústeres cuyosauthenticationModeesAPI, el ConfigMap no se usa, por lo que el rol de instancia de nodo debe tener una entrada de acceso.importanteSin el acceso adecuado al clúster para la función de instancia de nodo, las instancias EC2 no pueden unirse al clúster. Los trabajos permanecerán en
RUNNABLEestado porque no se registra ninguna capacidad en el clúster.
Paso 3: Crear un entorno de computación de Amazon EKS
AWS Batch los entornos informáticos definen los parámetros de los recursos informáticos para satisfacer sus necesidades de carga de trabajo por lotes. En un entorno informático gestionado, AWS Batch le ayuda a gestionar la capacidad y los tipos de instancias de los recursos informáticos (Kubernetes nodos) dentro de su clúster de Amazon EKS. Se basa en la especificación de recursos de computación que se define al crear el entorno de computación. Puede usar EC2 On-Demand Instancias o instancias puntuales de EC2.
Cree un entorno informático que se dirija a su clúster de Amazon EKS. Porque el entorno informático se establece accessEntry.desiredState a ENABLED, AWS Batch
crea una entrada de acceso para el AWSServiceRoleForBatch rol vinculado a un servicio en su clúster. En el siguiente paso, concederás esos permisos de entrada de acceso en tu espacio de nombres.
-
En
subnetsejecuteeksctl get clusterpara obtener las subredes que el clúster utilizó.my-cluster-name -
En el parámetro
securityGroupIds, puede utilizar el mismo grupo de seguridad que utiliza el clúster de Amazon EKS. Este comando recupera el ID del grupo de seguridad del clúster.$aws eks describe-cluster \ --namemy-cluster-name\ --query cluster.resourcesVpcConfig.clusterSecurityGroupId -
El
instanceRolees el perfil de instancia para el rol de instancia de nodo que encontraste en el paso 2. Ejecute el siguiente comando para buscar el ARN deinstanceRole:$aws iam list-instance-profiles-for-role --role-name eksctl-my-cluster-name-nodegroup-exampleSalida:
INSTANCEPROFILES arn:aws:iam::<your-account-number>:instance-profile/eks-04cb2200-94b9-c297-8dbe-87f12examplePara obtener más información, consulta Creación del rol de IAM en el nodo de Amazon EKS y Otorgar a los usuarios de IAM acceso a Kubernetes con entradas de acceso de Amazon EKS en el Guía del usuario de Amazon EKS. Si utiliza redes de pod, consulte Configuración del complemento de CNI de Amazon VPC de Kubernetes para utilizar roles de IAM en las cuentas de servicio en la Guía del usuario de Amazon EKS.
$cat <<EOF > ./batch-eks-compute-environment.json { "computeEnvironmentName": "My-Eks-CE1", "type": "MANAGED", "state": "ENABLED", "eksConfiguration": { "eksClusterArn": "arn:aws:eks:region-code:your-account-number:cluster/my-cluster-name", "kubernetesNamespace": "my-aws-batch-namespace", "accessEntry": { "desiredState": "ENABLED" } }, "computeResources": { "type": "EC2", "allocationStrategy": "BEST_FIT_PROGRESSIVE", "minvCpus": 0, "maxvCpus": 128, "instanceTypes": [ "m5" ], "subnets": [ "<eks-cluster-subnets-with-access-to-internet-for-image-pull>" ], "securityGroupIds": [ "<eks-cluster-sg>" ], "instanceRole": "<eks-instance-profile>" } } EOF
$aws batch create-compute-environment --cli-input-json file://./batch-eks-compute-environment.json
Notas
-
El mantenimiento de un entorno de computación de Amazon EKS es una responsabilidad compartida. Para obtener más información, consulte Responsabilidad compartida del Kubernetes nodos.
Paso 3a: Asociar la política de espacio de nombres
Tras crear el entorno informático con accessEntry.desiredState=ENABLED, AWS Batch crea una entrada de acceso a nivel de clúster. A continuación, debe asociar el ámbito del espacio de nombres AWSBatchNamespacePolicy conceder AWS Batch permiso para crear y administrar pods en tu espacio de nombres.
Sin la asociación de políticas que abarque el espacio de nombres, los trabajos permanecerán atrapados RUNNABLE estado. La política a nivel de clúster por sí sola no otorga permisos de administración de pods.
-
Espere a que se active la entrada de acceso
Compruebe el estado de la entrada de acceso:
$aws batch describe-compute-environments \ --compute-environmentsMy-Eks-CE1\ --query 'computeEnvironments[0].eksConfiguration.accessEntry.status' \ --output textSalida cuando esté lista:
ACTIVEUn
ACTIVEestado significa que AWS Batch creó la entrada de acceso en su clúster y puede asociarle la política de espacio de nombres. Si el estado esINACTIVE, espere un momento e inténtelo de nuevo. No continúe hasta que el estado seaACTIVE. -
Asocie la política de espacio de nombres
Una vez que la entrada de acceso esté
ACTIVE, asocie la política con ámbito de espacio de nombres:$aws eks associate-access-policy \ --cluster-namemy-cluster-name\ --principal-arn arn:aws:iam::your-account-number:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch \ --policy-arn arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy \ --access-scope type=namespace,namespaces=my-aws-batch-namespaceSalida:
{ "clusterName": "my-cluster-name", "principalArn": "arn:aws:iam::123456789012:role/aws-service-role/batch.amazonaws.com/AWSServiceRoleForBatch", "associatedAccessPolicy": { "policyArn": "arn:aws:eks::aws:cluster-access-policy/AWSBatchNamespacePolicy", "accessScope": { "type": "namespace", "namespaces": [ "my-aws-batch-namespace" ] }, "associatedAt": "2024-01-15T10:30:00.000000-08:00", "modifiedAt": "2024-01-15T10:30:00.000000-08:00" } }
Paso 4: Cree una cola de trabajos y adjunte el entorno informático
Es importante confirmar que el entorno de computación está en buen estado antes de continuar. El DescribeComputeEnvironments La operación de la API se puede usar para hacer esto.
$aws batch describe-compute-environments --compute-environmentsMy-Eks-CE1
Confirme que el parámetro status no es INVALID. Si es así, busque la causa en el parámetro statusReason. Para obtener más información, consulte Resolución de problemas AWS Batch.
Los trabajos enviados a esta nueva cola de trabajos se ejecutan como pods en AWS Batch nodos gestionados que se unieron al clúster de Amazon EKS asociado a su entorno informático.
$cat <<EOF > ./batch-eks-job-queue.json { "jobQueueName": "My-Eks-JQ1", "priority": 10, "computeEnvironmentOrder": [ { "order": 1, "computeEnvironment": "My-Eks-CE1" } ] } EOF
$aws batch create-job-queue --cli-input-json file://./batch-eks-job-queue.json
Paso 5: Crear una definición de trabajo
La siguiente definición de trabajo le indica al pod que permanezca en espera durante 60 segundos.
$cat <<EOF > ./batch-eks-job-definition.json { "jobDefinitionName": "MyJobOnEks_Sleep", "type": "container", "eksProperties": { "podProperties": { "hostNetwork": true, "containers": [ { "image": "public.ecr.aws/amazonlinux/amazonlinux:2", "command": [ "sleep", "60" ], "resources": { "limits": { "cpu": "1", "memory": "1024Mi" } } } ], "metadata": { "labels": { "environment": "test" } } } } } EOF
$aws batch register-job-definition --cli-input-json file://./batch-eks-job-definition.json
Notas
-
Hay que tener en cuenta los parámetros
cpuymemory. Para obtener más información, consulte Consideraciones sobre la memoria y la vCPU para AWS Batch en Amazon EKS.
Paso 6: Presentar un trabajo
Ejecute lo siguiente AWS CLI comando para enviar un nuevo trabajo.
$aws batch submit-job --job-queueMy-Eks-JQ1\ --job-definitionMyJobOnEks_Sleep--job-nameMy-Eks-Job1
Cómo comprobar el estado de un trabajo:
$aws batch describe-jobs --job<jobId-from-submit-response>
Notas
-
Para obtener más información sobre la ejecución de trabajos en recursos de Amazon EKS, consulte Trabajos de Amazon EKS.
Paso 7: Ver la salida del trabajo
Para ver la salida del trabajo, realice lo siguiente:
-
Abra el AWS Batch consola en https://console.aws.amazon.com/batch/
. -
En el panel de navegación, seleccione Trabajos.
-
En el menú desplegable de Colas de trabajo, elija la cola de trabajos que creó para el tutorial.
-
La tabla Trabajos muestra todos los trabajos y su estado actual. Una vez que el trabajo esté Estado es Tuvo éxito elige el Nombre del trabajo,
My-Eks-Job1, para ver los detalles del trabajo. -
En el panel Detalles, las horas de Iniciado a las y Terminado a las deben estar separadas por un minuto.
Paso 8: (opcional) Enviar un trabajo con anulaciones
Este trabajo anula el comando pasado al contenedor. AWS Batch limpia agresivamente las cápsulas una vez finalizadas las tareas para reducir la carga a Kubernetes. Para examinar los detalles de un trabajo, se debe configurar el registro. Para obtener más información, consulte Utilice CloudWatch los registros para supervisar AWS Batch los trabajos de Amazon EKS.
$cat <<EOF > ./submit-job-override.json { "jobName": "EksWithOverrides", "jobQueue": "My-Eks-JQ1", "jobDefinition": "MyJobOnEks_Sleep", "eksPropertiesOverride": { "podProperties": { "containers": [ { "command": [ "/bin/sh" ], "args": [ "-c", "echo hello world" ] } ] } } } EOF
$aws batch submit-job --cli-input-json file://./submit-job-override.json
Notas
-
Para mejorar la visibilidad de los detalles de las operaciones, habilite el registro del plano de control de Amazon EKS. Para obtener más información, consulte Registros del plano de control del clúster de Amazon EKS en la Guía del usuario de Amazon EKS.
-
La sobrecarga Daemonsets y kubelets afectan a los recursos de vCPU y de memoria disponibles, específicamente al escalado y la colocación de trabajos. Para obtener más información, consulte Consideraciones sobre la memoria y la vCPU para AWS Batch en Amazon EKS.
Para ver la salida del trabajo, realice lo siguiente:
-
Abre el AWS Batch consola en https://console.aws.amazon.com/batch/
. -
En el panel de navegación, seleccione Trabajos.
-
En el menú desplegable de Colas de trabajo, elija la cola de trabajos que creó para el tutorial.
-
La tabla Trabajos muestra todos los trabajos y su estado actual. Una vez que el Estado del trabajo sea Correcto, seleccione el Nombre del trabajo para consultar sus detalles.
-
En el panel Detalles, elija el Nombre del flujo de registro. El CloudWatch Se abrirá la consola del trabajo y debería haber un evento con el Mensaje de
hello worldo tu mensaje personalizado.
Paso 9: Eliminar los recursos del tutorial
Se le cobrará por la instancia de Amazon EC2 mientras esté habilitada. Puede eliminar la instancia para dejar de generar cargos.
Para eliminar los recursos que usted creó, haga lo que se indica a continuación:
-
Abre el AWS Batch consola en https://console.aws.amazon.com/batch/
. -
En el panel de navegación, elija Cola de trabajos.
-
En la tabla Cola de trabajos, elija la cola de trabajos que creó para el tutorial.
-
Elija Deshabilitar. Una vez que el Estado de la cola de trabajos esté deshabilitado, puede elegir Eliminar.
-
Una vez eliminada la cola de trabajos, configure
accessEntry.desiredStateaDISABLEDen el entorno informático para que AWS Batch elimina la entrada de acceso que creó en su clúster:$aws batch update-compute-environment \ --compute-environmentMy-Eks-CE1\ --eks-configuration 'accessEntry={desiredState=DISABLED}'importanteDebe configurar
desiredStateaDISABLEDantes de eliminar el entorno informático. La eliminación de un entorno informático no elimina la entrada de acceso, incluso si es la última AWS Batch entorno informático del clúster. Si es otro AWS Batch los entornos informáticos tienen como objetivo el mismo clúster, AWS Batch elimina la entrada de acceso solo después de que cada uno de ellos hayadesiredStateestablecido enDISABLED. Para obtener más información, consulte Qué AWS Batch crea en tu clúster.Estado esperado después de deshabilitar la entrada de accesoDespués AWS Batch elimina la entrada de acceso, la del entorno informático Estado cambia a
INVALIDcon un motivo de estado deUnable to validate Kubernetes Namespace. Esto se espera porque AWS Batch ya no tiene acceso a su clúster. Aún puedes deshabilitar y eliminar el entorno de procesamiento. -
En el panel de navegación, elija Entornos informáticos.
-
Elija el entorno de computación que creó para este tutorial y, a continuación, elija Deshabilitar. La desactivación del entorno informático puede tardar entre 1 y 2 minutos en completarse.
-
Una vez que el Estado del entorno de computación esté deshabilitado, seleccione Eliminar. La eliminación del entorno informático puede tardar entre 1 y 2 minutos.
Recursos adicionales
Después de completar el tutorial, recomendamos consultar alguno de los siguientes temas:
-
Obtenga más información sobre las prácticas recomendadas.
-
Explore el AWS Batch componentes principales. Para obtener más información, consulte Componentes de AWS Batch.
-
Obtenga más información sobre los diferentes entornos de computación disponibles en AWS Batch.
-
Obtenga más información sobre las colas de trabajos y sus diferentes opciones de programación.
-
Obtenga más información sobre las definiciones de trabajos y las diferentes opciones de configuración.
-
Obtenga más información sobre los distintos tipos de trabajos.