Uso de bibliotecas de Python con EMR sin servidor - Amazon EMR
Uso de funciones nativas de PythonCreación de un entorno virtual de PythonConfiguración de trabajos de PySpark para usar bibliotecas de Python

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de bibliotecas de Python con EMR sin servidor

Cuando ejecute trabajos de PySpark en aplicaciones Amazon EMR sin servidor, empaquete varias bibliotecas de Python como dependencias. Para ello, use características nativas de Python, cree un entorno virtual o configure directamente sus trabajos de PySpark para que usen bibliotecas de Python. Esta página abarca cada enfoque.

Uso de funciones nativas de Python

Si establece la siguiente configuración, use PySpark para cargar archivos de Python (.py), paquetes de Python comprimidos (.zip) y archivos Egg (.egg) a los ejecutores de Spark.

--conf spark.submit.pyFiles=s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/<.py|.egg|.zip file>

Para obtener más información sobre cómo usar los entornos virtuales de Python para los trabajos de PySpark, consulte Using PySpark Native Features.

Al usar EMR Notebook, puede hacer que la dependencia de Python esté disponible en su cuaderno mediante la ejecución del siguiente código:

    %%configure -f
 {
    "conf": {
    "spark.submit.pyFiles":"s3:///amzn-s3-demo-bucket/EXAMPLE-PREFIX/<.py|.egg|.zip file>
                   }
 }

Creación de un entorno virtual de Python

Para empaquetar varias bibliotecas de Python para un trabajo de PySpark, cree un entorno virtual de Python aislado.

  1. Para crear el entorno virtual de Python, ejecute los siguientes comandos. El ejemplo que se muestra instala los paquetes scipy y matplotlib en un paquete de entorno virtual y copia el archivo en una ubicación de Amazon S3.

    importante

    Debe ejecutar los siguientes comandos en un entorno de Amazon Linux 2 similar con la misma versión de Python que utiliza en EMR sin servidor, es decir, Python 3.7.10 para Amazon EMR versión 6.6.0. Puede encontrar un ejemplo de Dockerfile en el repositorio GitHub de Ejemplos de EMR sin servidor.

    # initialize a python virtual environment
python3 -m venv pyspark_venvsource
source pyspark_venvsource/bin/activate

# optionally, ensure pip is up-to-date
pip3 install --upgrade pip

# install the python packages
pip3 install scipy
pip3 install matplotlib

# package the virtual environment into an archive
pip3 install venv-pack
venv-pack -f -o pyspark_venv.tar.gz

# copy the archive to an S3 location
aws s3 cp pyspark_venv.tar.gz s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/

# optionally, remove the virtual environment directory
rm -fr pyspark_venvsource

  2. Envíe el trabajo de Spark con sus propiedades configuradas para usar el entorno virtual de Python. 

    --conf spark.archives=s3://amzn-s3-demo-bucket/EXAMPLE-PREFIX/pyspark_venv.tar.gz#environment 
--conf spark.emr-serverless.driverEnv.PYSPARK_DRIVER_PYTHON=./environment/bin/python
--conf spark.emr-serverless.driverEnv.PYSPARK_PYTHON=./environment/bin/python 
--conf spark.executorEnv.PYSPARK_PYTHON=./environment/bin/python

    Tenga en cuenta que si no anula el binario de Python original, será --conf spark.executorEnv.PYSPARK_PYTHON=python la segunda configuración de la secuencia de ajustes anterior.

    Para obtener más información sobre cómo usar los entornos virtuales de Python para los trabajos de PySpark, consulte Using Virtualenv. Para ver más ejemplos de cómo enviar trabajos de Spark, consulte Uso de configuraciones de Spark al ejecutar trabajos de EMR sin servidor.

Configuración de trabajos de PySpark para usar bibliotecas de Python

Con las versiones 6.12.0 y posteriores de Amazon EMR, puede configurar directamente los trabajos de PySpark sin servidor de EMR para utilizar bibliotecas Python populares de ciencia de datos, como pandas, NumPy y PyArrow, sin necesidad de realizar ninguna configuración adicional.

En los siguientes ejemplos, se muestra cómo empaquetar cada biblioteca de Python para un trabajo de PySpark.

NumPy

NumPy es una biblioteca de Python para computación científica que ofrece matrices y operaciones multidimensionales para matemáticas, clasificación, simulación aleatoria y estadísticas básicas. Para usar NumPy, ejecute el siguiente comando:

import numpy
pandas

pandas es una biblioteca de Python construida sobre NumPy. La biblioteca pandas proporciona a los científicos de datos estructuras de datos DataFrame y herramientas de análisis de datos. Para usar pandas, ejecute el siguiente comando:

import pandas
PyArrow

PyArrow es una biblioteca de Python que administra datos en columnas en memoria para mejorar el rendimiento laboral. PyArrow se basa en la especificación de desarrollo multilenguaje Apache Arrow, que es una forma estándar de representar e intercambiar datos en formato de columnas. Para usar PyArrow, ejecute el siguiente comando:

import pyarrow