View a markdown version of this page

Rilasci 6.15.0 di Amazon EMR su EKS - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rilasci 6.15.0 di Amazon EMR su EKS

Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per conoscere i dettagli su Amazon EMR in esecuzione su Amazon EC2 e sul rilascio 6.15.0 di Amazon EMR in generale, consulta Amazon EMR 6.15.0 nella Guida ai rilasci di Amazon EMR.

Rilasci 6.15 di Amazon EMR su EKS

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS. Seleziona un rilascio emr-6.15.0-XXXX specifico per visualizzare ulteriori dettagli, come il relativo tag dell'immagine di container.

Flink releases

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS quando vengono eseguite le applicazioni Flink.

Spark releases

I seguenti rilasci 6.15.0 di Amazon EMR sono disponibili per Amazon EMR su EKS quando vengono eseguite le applicazioni Spark.

  • emr-6.15.0-latest

  • emr-6.15.0-20231109

  • emr-6.15.0-spark-rapids-latest

  • emr-6.15.0-spark-rapids-20231109

  • emr-6.15.0-java11-latest

  • emr-6.15.0-java11-20231109

  • emr-6.15.0-java17-latest

  • emr-6.15.0-java17-20231109

  • emr-6.15.0-java17-al2023-latest

  • emr-6.15.0-java17-al2023-20231109

  • emr-6.15.0-spark-rapids-java17-latest

  • emr-6.15.0-spark-rapids-java17-20231109

  • emr-6.15.0-spark-rapids-java17-al2023-latest

  • emr-6.15.0-spark-rapids-java17-al2023-20231109

  • notebook-spark/emr-6.15.0-latest

  • notebook-spark/emr-6.15.0-20231109

  • notebook-spark/emr-6.15.0-spark-rapids-latest

  • notebook-spark/emr-6.15.0-spark-rapids-20231109

  • notebook-spark/emr-6.15.0-java11-latest

  • notebook-spark/emr-6.15.0-java11-20231109

  • notebook-spark/emr-6.15.0-java17-latest

  • notebook-spark/emr-6.15.0-java17-20231109

  • notebook-spark/emr-6.15.0-java17-al2023-latest

  • notebook-spark/emr-6.15.0-java17-al2023-20231109

  • notebook-python/emr-6.15.0-latest

  • notebook-python/emr-6.15.0-20231109

  • notebook-python/emr-6.15.0-spark-rapids-latest

  • notebook-python/emr-6.15.0-spark-rapids-20231109

  • notebook-python/emr-6.15.0-java11-latest

  • notebook-python/emr-6.15.0-java11-20231109

  • notebook-python/emr-6.15.0-java17-latest

  • notebook-python/emr-6.15.0-java17-20231109

  • notebook-python/emr-6.15.0-java17-al2023-latest

  • notebook-python/emr-6.15.0-java17-al2023-20231109

Note di rilascio

Note di rilascio di Amazon EMR su EKS 6.15.0

  • Applicazioni supportate ‐ AWS SDK per Java 1.12.569, Apache Spark 3.4.1-amzn-2, Apache Flink 1.17.1-amzn-1, Apache Hudi 0.14.0-amzn-0, Apache Iceberg 1.4.0-amzn-0, Delta 2.4.0, Apache Spark RAPIDS 23.08.01-amzn-0, Jupyter Enterprise Gateway 2.6.0

  • Componenti supportati: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classificazioni di configurazione supportate

    Da utilizzare con le API StartJobRune CreateManagedEndpoint:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file Hadoop core-site.xml.

    emrfs-site

    Modifica le impostazioni EMRFS.

    spark-metrics

    Modifica i valori nel file Spark metrics.properties.

    spark-defaults

    Modifica i valori nel file Spark spark-defaults.conf.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file Spark hive-site.xml.

    spark-log4j

    Modifica i valori nel file Spark log4j2.properties.

    emr-job-submitter

    Configurazione per il pod del mittente di processi.

    Da utilizzare specificamente con le CreateManagedEndpointAPI:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio spark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Funzionalità significative

Nel rilascio 6.15 di Amazon EMR su EKS sono incluse le funzionalità elencate di seguito.

  • Amazon EMR su EKS con Apache Flink - Con Amazon EMR su EKS 6.15.0, puoi eseguire la tua Flink-based applicazione Apache insieme ad altri tipi di applicazioni sullo stesso cluster Amazon EKS. Ciò consente di migliorare l'utilizzo delle risorse e di semplificare la gestione dell'infrastruttura. Puoi sfruttare le istanze spot in un'applicazione Flink con una disattivazione graduale e ottenere tempi di riavvio più rapidi con il ripristino granulare e il ripristino locale delle attività con Amazon EBS. Le funzionalità di accessibilità e monitoraggio includono la possibilità di avviare un'applicazione Flink con jar archiviati in Amazon S3, l'accesso al AWS Glue Data Catalog, il monitoraggio dell'integrazione con Amazon S3 e Amazon CloudWatch e la rotazione dei log dei container.