Especificar AWS Pegue el catálogo de datos como metastore Permisos de IAM Consideraciones a la hora de usar AWS Catálogo de datos de Glue

Uso de AWS Glue Data Catalog como metaalmacén de Hive

Si utiliza la versión 5.8.0 de Amazon EMR o una posterior, puede configurar Hive para que utilice el catálogo de datos de AWS Glue como su metaalmacén. Recomendamos esta configuración cuando se necesita un metaalmacén persistente o un metaalmacén compartido por diferentes clústeres, servicios, aplicaciones o cuentas de AWS .

AWS Glue es un servicio de extracción, transformación y carga (ETL) totalmente gestionado que permite clasificar los datos, limpiarlos, enriquecerlos y moverlos de forma fiable entre varios almacenes de datos de forma sencilla y rentable. El catálogo de datos de AWS Glue proporciona un repositorio de metadatos unificado en una variedad de fuentes y formatos de datos, que se integra con Amazon EMR, Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena y cualquier aplicación compatible con el metaalmacén de Apache Hive. AWS Los rastreadores de Glue pueden deducir automáticamente el esquema a partir de los datos de origen en Amazon S3 y almacenar los metadatos asociados en el catálogo de datos. Para obtener más información sobre el catálogo de datos, consulte Cómo rellenar el catálogo de datos de AWS Glue en la guía para desarrolladores de AWS Glue.

Se aplican cargos distintos a AWS Glue. Hay una tarifa mensual para almacenar y acceder a los metadatos del catálogo de datos, una tarifa por hora por minuto para los trabajos de ETL y el tiempo de ejecución de los rastreadores de AWS Glue, y una tarifa por hora por minuto para cada terminal de desarrollo aprovisionado. El Catálogo de datos le permite almacenar hasta un millón de objetos sin cargo alguno. Si almacena más de un millón de objetos, se le cobrará 1 USD por cada 100 000 objetos que sobrepasen esa cifra. En el Catálogo de datos, se consideran objetos las tablas, las particiones y las bases de datos. Para obtener más información, consulte Precios de Glue.

importante

Si creó tablas con Amazon Athena o Amazon Redshift Spectrum antes del 14 de agosto de 2017, las bases de datos y las tablas se almacenan en un Athena-managed catálogo independiente del catálogo de datos de Glue. AWS Para integrar Amazon EMR con estas tablas, debe actualizar al catálogo de datos de AWS Glue. Para obtener más información, consulte Actualización al catálogo de datos de AWS Glue en la guía del usuario de Amazon Athena.

Especificar AWS Pegue el catálogo de datos como metastore

Puede especificar el catálogo de datos de AWS Glue como metaalmacén mediante la API Consola de administración de AWS o Amazon EMR. AWS CLI Cuando utiliza la CLI o la API, utiliza la clasificación de configuración de Hive para especificar el catálogo de datos. Además, con Amazon EMR 5.16.0 y versiones posteriores, puede usar la clasificación de configuración para especificar un catálogo de datos en otro sitio. Cuenta de AWS Cuando utiliza la consola, puede especificar el Catálogo de datos mediante Opciones avanzadas u Opciones rápidas.

Console

Para especificar AWS Pegue Data Catalog como el metaalmacén de Hive con la consola

Inicie sesión en y abra Consola de administración de AWS la consola de Amazon EMR en. https://console.aws.amazon.com/emr
En EMR en EC2 situado en el panel de navegación izquierdo, elija Clústeres y, a continuación, elija Crear clúster.
En Paquete de aplicaciones, seleccione Core Hadoop, HBase o Personalizado. Si personaliza el clúster, asegúrese de seleccionar Hive o HCatalog como una de sus aplicaciones.
En Configuración del Catálogo de datos de AWS Glue, seleccione la casilla Usar para metadatos de la tabla de Hive.
Elija cualquier otra opción que se aplique a su clúster.
Para lanzar el clúster, elija Crear clúster.

CLI

Para especificar el AWS Pegue Data Catalog como el metaalmacén de Hive con AWS CLI

Para obtener más información sobre cómo especificar una clasificación de configuración mediante la API AWS CLI y EMR, consulte. Configuración de aplicaciones

Especifique el valor de hive.metastore.client.factory.class utilizando la clasificación de configuración hive-site tal y como se muestra en el siguiente ejemplo:
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory"
    }
  }
]
						
```
En las versiones 5.28.0, 5.28.1, 5.29.0 o 6.x de EMR, si va a crear un clúster utilizando el catálogo de datos de AWS Glue como metaalmacén, configúrelo en. hive.metastore.schema.verification false Esto evita que Hive y HCatalog validen el esquema de metastore con respecto a MySQL. Sin esta configuración, el grupo de instancias principal se suspenderá después de la reconfiguración en Hive o HCatalog.
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
]
					
```
Si ya tiene un clúster en la versión de EMR 5.28.0, 5.28.1 o 5.29.0 de EMR, puede establecer el grupo de instancias principal hive.metastore.schema.verification como false con la siguiente información:
```
   
    Classification = hive-site
    Property       = hive.metastore.schema.verification
    Value          = false
					
```
Para especificar un catálogo de datos en una AWS cuenta diferente, añada la propiedad como se muestra en el siguiente ejemplo. hive.metastore.glue.catalogid Sustituya acct-id por la cuenta de AWS del Catálogo de datos.
```
[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false",
      "hive.metastore.glue.catalogid": "acct-id"
    }
  }
]
				
```

Permisos de IAM

El perfil de instancia EC2 de un clúster debe tener permisos de IAM para las acciones de AWS Glue. Además, si habilita el cifrado de los objetos del catálogo de datos de AWS Glue, el rol también debe poder cifrar, descifrar y generar los objetos utilizados para el AWS KMS key cifrado.

Permisos para AWS Acciones de pegado

Si utiliza el perfil de instancia de EC2 predeterminado para Amazon EMR, no se requiere ninguna acción. La política AmazonElasticMapReduceforEC2Role gestionada que se adjunta al EMR_EC2_DefaultRole permite todas las acciones de AWS pegamento necesarias. Sin embargo, si especifica un perfil de instancia EC2 y permisos personalizados, debe configurar las acciones de AWS Glue adecuadas. Utilice la política administrada AmazonElasticMapReduceforEC2Role como punto de partida. Para más información, consulte Rol de servicio para instancias de EC2 del clúster (perfil de instancia de EC2) en la Guía de administración de Amazon EMR.

Permisos para cifrar y descifrar AWS Catálogo de datos de Glue

El perfil de instancia necesita permiso para cifrar y descifrar los datos con su clave. No es necesario configurar estos permisos si se cumplen las dos instrucciones siguientes:

El cifrado de los objetos del catálogo de datos de AWS Glue se habilita mediante claves administradas para AWS Glue.
Usas un clúster que está en el Cuenta de AWS mismo sitio que el catálogo de datos de AWS Glue.

De lo contrario, debe agregar la siguiente instrucción a la política de permisos adjunta al perfil de instancia de EC2.

Para obtener más información sobre el cifrado del catálogo de datos de AWS Glue, consulte Cifrar el catálogo de datos en la Guía para desarrolladores de AWS Glue.

Resource-based permisos

Si usa AWS Glue junto con Hive, Spark o Presto en Amazon EMR, AWS Glue admite políticas basadas en los recursos para controlar el acceso a los recursos del catálogo de datos. Estos recursos incluyen bases de datos, tablas, conexiones y funciones definidas por el usuario. Para obtener más información, consulte Políticas de recursos de AWS Glue en la Guía para desarrolladores de AWS Glue.

Cuando utilice políticas basadas en recursos para limitar el acceso a AWS Glue desde Amazon EMR, el principal que especifique en la política de permisos debe ser el ARN del rol asociado al perfil de instancia EC2 que se especifica al crear un clúster. Por ejemplo, en el caso de una política basada en recursos adjunta a un catálogo, puede especificar el ARN del rol de servicio predeterminado para las instancias EC2 del clúster, EMR_EC2_DefaultRole como el, utilizando el formato que se muestra en el siguiente Principal ejemplo:


arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

acct-idPuede ser diferente del ID de la cuenta de Glue. AWS Esto permite el acceso desde clústeres de EMR en diferentes cuentas. Puede especificar varias entidades principales, cada una de ellas desde una cuenta diferente.

Consideraciones a la hora de usar AWS Catálogo de datos de Glue

Tenga en cuenta los siguientes elementos al utilizar el catálogo de datos de AWS Glue como metaalmacén con Hive:

No se permite añadir archivos JAR auxiliares al shell de Hive. Como solución provisional, utilice la clasificación de configuración hive-site para establecer la propiedad hive.aux.jars.path, que añade archivos JAR auxiliares al classpath de Hive.
No se admiten las transacciones de Hive.
No se permite cambiar el nombre de las tablas desde AWS Glue.
Al crear una tabla de Hive sin especificar un valor de LOCATION, los datos de la tabla se almacenan en la ubicación especificada por la propiedad hive.metastore.warehouse.dir. De manera predeterminada, se trata de una ubicación en HDFS. Si otro clúster necesita acceder a la tabla, se produce un error a menos que tenga los permisos adecuados para el clúster que creó la tabla. Además, dado que el almacenamiento en HDFS es transitorio, si el clúster termina, se pierden los datos de la tabla y, por lo tanto, será necesario volver a crearla. Le recomendamos que especifique una LOCATION en Amazon S3 cuando cree una tabla de Hive con AWS Glue. Como alternativa, puede utilizar la clasificación de configuración hive-site para especificar una ubicación en Amazon S3 para hive.metastore.warehouse.dir, que se aplica a todas las tablas de Hive. Si se crea una tabla en una ubicación HDFS y el clúster que la creó sigue ejecutándose, puede actualizar la ubicación de la tabla a Amazon S3 desde Glue. AWS Para obtener más información, consulte Cómo trabajar con tablas en la consola de AWS Glue en la guía para desarrolladores de AWS Glue.
No se admiten valores de partición que contengan comillas y apóstrofes, por ejemplo, PARTITION (owner="Doe's").
Las estadísticas de columnas son compatibles con emr-5.31.0 y versiones posteriores.
No se admite el uso de la autorización de Hive. Como alternativa, considere la posibilidad de utilizar Resource-Based las políticas de AWS Glue. Para obtener más información, consulte Resource-Based las políticas de uso para el acceso de Amazon EMR al catálogo de datos de AWS Glue.
No se admiten las restricciones de Hive.
Cost-based No se admite la optimización en Hive.
No se admite el uso de la configuración hive.metastore.partition.inherit.table.properties.
No se admite el uso de las siguientes constantes de metaalmacén: BUCKET_COUNT, BUCKET_FIELD_NAME, DDL_TIME, FIELD_TO_DIMENSION, FILE_INPUT_FORMAT, FILE_OUTPUT_FORMAT, HIVE_FILTER_FIELD_LAST_ACCESS, HIVE_FILTER_FIELD_OWNER, HIVE_FILTER_FIELD_PARAMS, IS_ARCHIVED, META_TABLE_COLUMNS, META_TABLE_COLUMN_TYPES, META_TABLE_DB, META_TABLE_LOCATION, META_TABLE_NAME, META_TABLE_PARTITION_COLUMNS, META_TABLE_SERDE, META_TABLE_STORAGE, ORIGINAL_LOCATION.
Cuando utiliza una expresión de predicado, los valores explícitos deben estar en el lado derecho del operador de comparación o las consultas podrían devolver errores.
- Correcto: SELECT * FROM mytable WHERE time > 11
- Incorrecto: SELECT * FROM mytable WHERE 11 > time
Las versiones 5.32.0 y 6.3.0 y posteriores de Amazon EMR admiten el uso de funciones definidas por el usuario (UDF) en las expresiones de predicados. Si utiliza versiones anteriores, es posible que sus consultas presenten errores debido a la forma en que Hive intenta optimizar la ejecución de las consultas.
No se admiten las tablas temporales.
Recomendamos crear tablas con aplicaciones a través de Amazon EMR en lugar de crearlas directamente con AWS Glue. La creación de una tabla con AWS Glue puede hacer que falten campos obligatorios y provocar excepciones en las consultas.
En EMR 5.20.0 o versiones posteriores, la eliminación de particiones paralelas se habilita automáticamente en Spark y Hive cuando se utiliza el catálogo de datos de AWS Glue como metaalmacén. Este cambio reduce significativamente el tiempo de planificación de consultas al ejecutar varias solicitudes en paralelo para recuperar particiones. El número total de segmentos que se pueden ejecutar simultáneamente oscila entre 1 y 10. El valor predeterminado es 5, que es la configuración recomendada. Para cambiarlo, especifique la propiedad aws.glue.partition.num.segments en la clasificación de la configuración hive-site. Si se produce una limitación, puede desactivar la característica cambiando el valor a 1. Para más información, consulte Estructura Segment de AWS Glue.

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

Configuración de un metaalmacén externo para Hive

Uso de una base de datos MySQL externa o Amazon Aurora