View a markdown version of this page

TensorFlow - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

TensorFlow

TensorFlow es una biblioteca matemática simbólica de código abierto para aplicaciones de aprendizaje profundo e inteligencia artificial. Para obtener más información, consulte el TensorFlow sitio web. TensorFlow está disponible con la versión 5.17.0 y posteriores de Amazon EMR.

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie 7.x de Amazon EMR, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte las versiones de componentes de la versión 7.14.0.

TensorFlow información sobre la versión de emr-7.14.0
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-7.14.0

TensorFlow 2.19.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie 6.x de Amazon EMR, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte las versiones de componentes de la versión 6.15.0.

TensorFlow información sobre la versión de emr-6.15.0
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie 5.x de Amazon EMR, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte las versiones de componentes de la versión 5.36.2.

TensorFlow información sobre la versión de emr-5.36.2
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilaciones según el tipo de instancia Amazon EC2

Amazon EMR usa diferentes compilaciones de la TensorFlow biblioteca en función de los tipos de instancia que elija para su clúster. Amazon EMR también admite TensorFlow clústeres con tipos de instancia aarch64 (instancias de Graviton) iguales o superiores. EMR-7.5.0

En la siguiente tabla se enumeran las compilaciones por tipo de instancia para: EMR-7.10.0

Tipos de instancias de EC2 TensorFlow compilar

P2, P4D, P5, G4DN, G5, G6 y GR6

Tensorflow 2.18.0 con CUDA 12.5, cuDNN 9.3.0.75

P3, P3DN, G3 y G3S

Tensorflow 2.18.0 con CUDA 12.5, CuDNN 9.3.0.75, NCCL 2.22.3

Nvidia NCCL solo está disponible en las instancias P3, P3DN, G3 y G3s con la versión 2.22.3. Contrato de licencia para el usuario final (CLUF): al utilizar componentes Nvidia en Amazon EMR, acepta los términos y condiciones que se detallan en el CLUF del producto.

Instancias de graviton

Tensorflow 2.18.0

Todos los demás

Tensorflow 2.18.0

Seguridad

Además de seguir las instrucciones de Uso TensorFlow seguro, te recomendamos que lances el clúster en una subred privada para poder limitar el acceso a fuentes confiables. Para más información, consulte Opciones de Amazon VPC en la Guía de administración de Amazon EMR.

¿Utilización TensorBoard

TensorBoard es un conjunto de herramientas de visualización para TensorFlow programas. Para obtener más información, consulta TensorBoard: Aprendizaje visualizado en el sitio web de Tensorflow.

Para usarlo TensorBoard con Amazon EMR, debe comenzar TensorBoard en el nodo maestro del clúster.

Para utilizar TensorBoard con TensorFlow en Amazon EMR
  1. Conecte al nodo principal del clúster utilizando SSH. Para obtener más información, consulte Conexión al nodo maestro mediante SSH en la Guía de administración de Amazon EMR.

  2. Escriba el comando siguiente para iniciar Tensorboard en el nodo principal. Sustituya /my/log/directory por un directorio del nodo principal donde haya generado y almacenado datos de resumen utilizando un generador de resúmenes.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    De forma predeterminada, los hosts del nodo principal TensorBoard utilizan el puerto 6006 y el nombre DNS público principal. Tras empezar TensorBoard, el resultado de la línea de comandos muestra la URL a la que se puede usar para conectarse TensorBoard, como se muestra en el siguiente ejemplo:

    TensorBoard 2.18.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configure el acceso a las interfaces web en el nodo principal desde los clientes de confianza. Para más información, consulte Ver interfaces web alojadas en los clústeres de Amazon EMR en la Guía de administración de Amazon EMR.

  4. Abrir TensorBoard enhttp://master-public-dns-name:6006.