Usa el confirmador EMRFS S3-optimized

El S3-optimized confirmador EMRFS es una OutputCommitter implementación alternativa que está optimizada para escribir archivos en Amazon S3 cuando se utiliza EMRFS. El S3-optimized confirmador EMRFS mejora el rendimiento de las aplicaciones al evitar las operaciones de enumeración y cambio de nombre que se realizan en Amazon S3 durante las fases de confirmación de trabajos y tareas. El confirmador está disponible con la versión 5.19.0 y posteriores de Amazon EMR y está habilitado de forma predeterminada con la versión 5.20.0 y posteriores de Amazon EMR. El confirmador se utiliza para los trabajos de Spark que utilizan Spark o conjuntos de datos. DataFrames A partir de Amazon EMR 6.4.0, este confirmador se puede utilizar para todos los formatos habituales, incluidos los formatos Parquet, ORC y basados en texto (incluidos CSV y JSON). En el caso de las versiones anteriores a Amazon EMR 6.4.0, solo se admite el formato Parquet. Existen circunstancias bajo las cuales no se utiliza el confirmador. Para obtener más información, consulte Requisitos para el confirmador EMRFS S3-optimized.