Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Enlaces a las guías de prácticas recomendadas de Amazon EMR sobre EKS en GitHub

Hemos creado la Guía de prácticas recomendadas de Amazon EMR en EKS mediante la colaboración comunitaria de código abierto para poder iterar rápidamente y ofrecer recomendaciones para aspectos de creación y ejecución de un clúster virtual. Le recomendamos que utilice la Guía de prácticas recomendadas de Amazon EMR en EKS para las secciones. Elija los enlaces de cada sección para ir al GitHub sitio.

Seguridad

Prácticas recomendadas de cifrado: cómo utilizar el cifrado para los datos en reposo y en tránsito.

En Administración de la seguridad de la red se describe cómo configurar grupos de seguridad para pods de Amazon EMR en EKS mientras se conecta a orígenes de datos alojados en Servicios de AWS , como Amazon RDS y Amazon Redshift.

Uso del administrador de AWS secretos para almacenar secretos.

Envío de trabajos de PySpark

Envío de trabajos de PySpark: especifica diferentes tipos de empaquetado para las aplicaciones de PySpark con formatos como zip, egg, wheel y pex.

Almacenamiento

Uso de volúmenes de EBS: cómo utilizar el aprovisionamiento estático y dinámico para los trabajos que necesitan volúmenes de EBS.

Uso de volúmenes de Amazon FSx for Lustre: cómo utilizar el aprovisionamiento estático y dinámico para los trabajos que necesitan volúmenes de Amazon FSx for Luster.

Uso de volúmenes de almacenes de instancias: cómo utilizar los volúmenes de almacenes de instancias para el procesamiento de trabajos.

Integración con metaalmacenes

Uso de metaalmacenes de Hive: ofrece diferentes formas de utilizar metaalmacenes de Hive.

Uso de AWS Glue: ofrece diferentes formas de configurar el catálogo de AWS Glue.

Debugging

Uso de la depuración de Spark: cómo cambiar el nivel de registro.

Conexión a la interfaz de usuario de Spark en el pod controlador.

Cómo utilizar el servidor de historial Spark autoalojado con Amazon EMR en EKS.

Solución de problemas de Amazon EMR en EKS

Solución de problemas.

Colocación de nodos

Uso de selectores de nodos de Kubernetes para single-az y otros casos de uso.

Uso de la colocación de nodos de Fargate.

Desempeño

Uso de la asignación dinámica de recursos (DRA).

De forma predeterminada, spark.dynamicAllocation.preallocateExecutors está habilitada en Amazon EMR Spark. Cuando spark.dynamicAllocation.minExecutors están configurados spark.dynamicAllocation.initialExecutors y no están configurados, es posible que Spark solicite un gran número de ejecutores al inicio en función del número estimado de tareas, incluso para cargas de trabajo pequeñas. Para evitar una rotación excesiva de contenedores, usa uno de los siguientes enfoques:

Prácticas recomendadas de EKS para el complemento Amazon VPC Container Network Interface (CNI), Cluster Autoscaler y Core DNS.

Optimización de costos

Uso de instancias de spot: prácticas recomendadas para las instancias de spot de Amazon EC2 y cómo utilizar la característica de desmantelamiento de nodos de Spark.

Usando AWS Outposts

Ejecución de Amazon EMR en EKS mediante AWS Outposts