Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Configurazione Metastore per EMR Serverless Un *metastore Hive* è una posizione centralizzata che memorizza le informazioni strutturali sulle tabelle, inclusi schemi, nomi delle partizioni e tipi di dati. Con EMR Serverless, conserva i metadati di questa tabella in un metastore che ha accesso ai tuoi lavori. Hai due opzioni per un metastore Hive: + Il catalogo dati AWS Glue + Un metastore esterno di Apache Hive ## Utilizzo del AWS Glue Data Catalog come metastore Puoi configurare i tuoi job Spark e Hive per utilizzare il AWS Glue Data Catalog come metastore. Consigliamo questa configurazione quando hai bisogno di un metastore persistente o un metastore condiviso da diverse applicazioni, servizi o. Account AWS Per ulteriori informazioni sul Data Catalog, consulta [Populating the AWS Glue Data Catalog](https://docs.aws.amazon.com/glue/latest/dg/populate-data-catalog.html). Per informazioni sui prezzi di AWS Glue, consulta i [prezzi di AWS Glue](https://aws.amazon.com/glue/pricing). Puoi configurare il tuo job EMR Serverless per utilizzare il AWS Glue Data Catalog nella Account AWS stessa applicazione o in un'altra. Account AWS ### Configurazione del AWS Glue Data Catalog Per configurare il Data Catalog, scegli il tipo di applicazione EMR Serverless che desideri utilizzare. ------ #### [ Spark ] Quando utilizzi EMR Studio per eseguire i tuoi lavori con le applicazioni EMR Serverless Spark, il AWS Glue Data Catalog è il metastore predefinito. Quando si utilizza SDKs o AWS CLI, si imposta la `spark.hadoop.hive.metastore.client.factory.class` configurazione su `com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory` nei parametri dell'esecuzione del `sparkSubmit` processo. L'esempio seguente mostra come configurare il Data Catalog con AWS CLI. ``` aws emr-serverless start-job-run \ --application-id application-id \ --execution-role-arn job-role-arn \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://amzn-s3-demo-bucket/code/pyspark/extreme_weather.py", "sparkSubmitParameters": "--conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf spark.driver.cores=1 --conf spark.driver.memory=3g --conf spark.executor.cores=4 --conf spark.executor.memory=3g" } }' ``` In alternativa, puoi impostare questa configurazione quando ne crei una nuova `SparkSession` nel codice Spark. ``` from pyspark.sql import SparkSession spark = ( SparkSession.builder.appName("SparkSQL") .config( "spark.hadoop.hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory", ) .enableHiveSupport() .getOrCreate() ) # we can query tables with SparkSQL spark.sql("SHOW TABLES").show() # we can also them with native Spark print(spark.catalog.listTables()) ``` ------ #### [ Hive ] Per le applicazioni EMR Serverless Hive, il Data Catalog è il metastore predefinito. Cioè, quando si eseguono lavori su un'applicazione EMR Serverless Hive, Hive registra le informazioni sui metastore nel Data Catalog nello stesso modo in cui l'applicazione viene eseguita. Account AWS Non è necessario un cloud privato virtuale (VPC) per utilizzare il Data Catalog come metastore. Per accedere alle tabelle dei metastore di Hive, aggiungi le politiche AWS Glue richieste descritte in [Configurazione delle autorizzazioni](https://docs.aws.amazon.com/glue/latest/dg/getting-started-access.html) IAM per Glue. AWS ------ ### Configurazione dell'accesso tra account per EMR Serverless AWS e Glue Data Catalog Per configurare l'accesso tra più account per EMR Serverless, accedi prima a quanto segue: Account AWS + `AccountA`— E Account AWS in cui è stata creata un'applicazione EMR Serverless. + `AccountB`— Un Account AWS che contiene un AWS Glue Data Catalog a cui desideri che i tuoi job EMR Serverless possano accedere. 1. Assicurati che un amministratore o un'altra identità autorizzata `AccountB` alleghi una politica delle risorse al Data Catalog in. `AccountB` Questa politica concede autorizzazioni `AccountA` specifiche per diversi account per eseguire operazioni sulle risorse del catalogo. `AccountB` ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:CreateDatabase", "glue:GetDataBases", "glue:CreateTable", "glue:GetTable", "glue:UpdateTable", "glue:DeleteTable", "glue:GetTables", "glue:GetPartition", "glue:GetPartitions", "glue:CreatePartition", "glue:BatchCreatePartition", "glue:GetUserDefinedFunctions" ], "Resource": [ "arn:aws:glue:*:123456789012:catalog" ], "Sid": "AllowGLUEGetdatabase" } ] } ``` ------ 1. Aggiungi una policy IAM al ruolo di job runtime EMR Serverless in `AccountA` modo che quel ruolo possa accedere alle risorse del Data Catalog in. `AccountB` ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:CreateDatabase", "glue:GetDataBases", "glue:CreateTable", "glue:GetTable", "glue:UpdateTable", "glue:DeleteTable", "glue:GetTables", "glue:GetPartition", "glue:GetPartitions", "glue:CreatePartition", "glue:BatchCreatePartition", "glue:GetUserDefinedFunctions" ], "Resource": [ "arn:aws:glue:*:123456789012:catalog" ], "Sid": "AllowGLUEGetdatabase" } ] } ``` ------ 1. Inizia il tuo job run. Questo passaggio è leggermente diverso a seconda del tipo `AccountA` di applicazione EMR Serverless. ------ #### [ Spark ] Passate la `spark.hadoop.hive.metastore.glue.catalogid` proprietà `sparkSubmitParameters` come illustrato nell'esempio seguente. Sostituisci *`AccountB-catalog-id`* con l'ID del Data Catalog in`AccountB`. ``` aws emr-serverless start-job-run \ --application-id "application-id" \ --execution-role-arn "job-role-arn" \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://amzn-s3-demo-bucket/scripts/test.py", "sparkSubmitParameters": "--conf spark.hadoop.hive.metastore.client.factory.class=com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory --conf spark.hadoop.hive.metastore.glue.catalogid=AccountB-catalog-id --conf spark.executor.cores=1 --conf spark.executor.memory=1g --conf spark.driver.cores=1 --conf spark.driver.memory=1g --conf spark.executor.instances=1" } }' \ --configuration-overrides '{ "monitoringConfiguration": { "s3MonitoringConfiguration": { "logUri": "s3://amzn-s3-demo-bucket/logs/" } } }' ``` ------ #### [ Hive ] Imposta la `hive.metastore.glue.catalogid` proprietà nella `hive-site` classificazione come mostrato nell'esempio seguente. Sostituisci *`AccountB-catalog-id`* con l'ID del Data Catalog in`AccountB`. ``` aws emr-serverless start-job-run \ --application-id "application-id" \ --execution-role-arn "job-role-arn" \ --job-driver '{ "hive": { "query": "s3://amzn-s3-demo-bucket/hive/scripts/create_table.sql", "parameters": "--hiveconf hive.exec.scratchdir=s3://amzn-s3-demo-bucket/hive/scratch --hiveconf hive.metastore.warehouse.dir=s3://amzn-s3-demo-bucket/hive/warehouse" } }' \ --configuration-overrides '{ "applicationConfiguration": [{ "classification": "hive-site", "properties": { "hive.metastore.glue.catalogid": "AccountB-catalog-id" } }] }' ``` ------ ### Considerazioni sull'utilizzo del AWS Glue Data Catalog Puoi aggiungere elementi ausiliari `ADD JAR` negli JARs script di Hive. Per ulteriori considerazioni, consulta [Considerazioni sull'utilizzo di AWS Glue Data Catalog](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html#emr-hive-glue-considerations-hive).