Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà. # Personalizzazione della configurazione di cluster e applicazioni con versioni AMI di Amazon EMR precedenti Amazon EMR versione 4.0.0 ha introdotto un metodo semplificato di configurazione delle applicazioni mediante le classificazioni di configurazione. Per ulteriori informazioni, consulta [Configurazione delle applicazioni](emr-configure-apps.md). Quando utilizzi una versione AMI, configuri le applicazioni utilizzando operazioni di bootstrap insieme agli argomenti che passi. Ad esempio, le operazioni di bootstrap `configure-hadoop` e `configure-daemons` impostano le proprietà di ambiente di Hadoop e YARN come `--namenode-heap-size`. Nelle versioni più recenti, queste proprietà sono configurate mediante le classificazioni di configurazione `hadoop-env` e `yarn-env`. Per le azioni di bootstrap che eseguono configurazioni comuni, consulta il [emr-bootstrap-actions repository](https://github.com/awslabs/emr-bootstrap-actions) su Github. Le tabelle seguenti eseguono la mappatura delle operazioni di bootstrap alle classificazioni di configurazione in versioni più recenti di Amazon EMR. **Hadoop** | Nome di file dell'applicazione interessata | Operazione di bootstrap della versione AMI | Classificazione di configurazione | | --- | --- | --- | | core-site.xml | configure-hadoop -c | core-site | | log4j.properties | configure-hadoop -l | hadoop-log4j | | hdfs-site.xml | configure-hadoop -s | hdfs-site | | N/A | n/a | hdfs-encryption-zones | | mapred-site.xml | configure-hadoop -m | mapred-site | | yarn-site.xml | configure-hadoop -y | yarn-site | | httpfs-site.xml | configure-hadoop -t | httpfs-site | | capacity-scheduler.xml | configure-hadoop -z | capacity-scheduler | | yarn-env.sh | configure-daemons --resourcemanager-opts | yarn-env | **Hive** | Nome di file dell'applicazione interessata | Operazione di bootstrap della versione AMI | Classificazione di configurazione | | --- | --- | --- | | hive-env.sh | N/A | hive-env | | hive-site.xml | hive-script --install-hive-site \$1\$1MY\$1HIVE\$1SITE\$1FILE\$1 | hive-site | | hive-exec-log4j.properties | N/A | hive-exec-log4j | | hive-log4j.properties | n/a | hive-log4j | **EMRFS** | Nome di file dell'applicazione interessata | Operazione di bootstrap della versione AMI | Classificazione di configurazione | | --- | --- | --- | | emrfs-site.xml | configure-hadoop -e | emrfs-site | | N/A | s3get -s s3://custom-provider.jar -d /usr/share/aws/emr/auxlib/ | emrfs-site (con la nuova impostazione fs.s3.cse.encryptionMaterialsProvider.uri) | Per un elenco di tutte le classificazioni, consulta [Configurazione delle applicazioni](emr-configure-apps.md). ## Variabili di ambiente applicazione Quando si utilizza una versione AMI, uno script `hadoop-user-env.sh` viene utilizzato insieme all'operazione di bootstrap `configure-daemons` per configurare l'ambiente Hadoop. Lo script include le seguenti operazioni: ``` #!/bin/bash export HADOOP_USER_CLASSPATH_FIRST=true; echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh ``` In Amazon EMR versione 4.x, si procede nello stesso modo utilizzando la classificazione di configurazione `hadoop-env`, come mostrato nell'esempio seguente: ``` [       {          "Classification":"hadoop-env",          "Properties":{          },          "Configurations":[             {                "Classification":"export",                "Properties":{                   "HADOOP_USER_CLASSPATH_FIRST":"true",                   "HADOOP_CLASSPATH":"/path/to/my.jar"                }             }          ]       }    ] ``` Altro esempio: l'utilizzo di `configure-daemons` e il passaggio di `--namenode-heap-size=2048` e `--namenode-opts=-XX:GCTimeRatio=19` equivale alle classificazioni di configurazione esposte di seguito. ``` [       {          "Classification":"hadoop-env",          "Properties":{          },          "Configurations":[             {                "Classification":"export",                "Properties":{                   "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"                }             }          ]       }    ] ``` Altre variabili di ambiente applicazione non sono più definite in `/home/hadoop/.bashrc`, ma sono principalmente impostate in file `/etc/default` per componente o applicazione, ad esempio `/etc/default/hadoop`. Gli script wrapper `/usr/bin/` installati dall'applicazione RPMs possono anche impostare variabili di ambiente aggiuntive prima di utilizzare lo script bin effettivo. ## Porte di servizio Quando si utilizza una versione AMI, alcuni servizi utilizzano porte personalizzate. **Modifiche nelle impostazioni delle porte** | Impostazione | AMI versione 3.x | Valore di default open source | | --- | --- | --- | | fs.default.name | hdfs://emrDeterminedIP:9000 | predefinito (hdfs: //:8020) emrDeterminedIP | | dfs.datanode.address | 0.0.0.0:9200 | valore di default (0.0.0.0:50010) | | dfs.datanode.http.address | 0.0.0.0:9102 | valore di default (0.0.0.0:50075) | | dfs.datanode.https.address | 0.0.0.0:9402 | valore di default (0.0.0.0:50475) | | dfs.datanode.ipc.address | 0.0.0.0:9201 | valore di default (0.0.0.0:50020) | | dfs.http.address | 0.0.0.0:9101 | valore di default (0.0.0.0:50070) | | dfs.https.address | 0.0.0.0:9202 | valore di default (0.0.0.0:50470) | | dfs.secondary.http.address | 0.0.0.0:9104 | valore di default (0.0.0.0:50090) | | yarn.nodemanager.address | 0.0.0.0:9103 | valore di default (\$1\$1yarn.nodemanager.hostname\$1:0) | | yarn.nodemanager.localizer.address | 0.0.0.0:9033 | valore di default (\$1\$1yarn.nodemanager.hostname\$1:8040) | | yarn.nodemanager.webapp.address | 0.0.0.0:9035 | valore di default (\$1\$1yarn.nodemanager.hostname\$1:8042) | | yarn.resourcemanager.address | emrDeterminedIPpredefinito (hdfs: //:8020) ----sep----:9022 | valore di default (\$1\$1yarn.resourcemanager.hostname\$1:8032) | | yarn.resourcemanager.admin.address | emrDeterminedIP:9022 ----sep----:9025 | valore di default (\$1\$1yarn.resourcemanager.hostname\$1:8033) | | yarn.resourcemanager.resource-tracker.address | emrDeterminedIP:9025 ----sep----:9023 | valore di default (\$1\$1yarn.resourcemanager.hostname\$1:8031) | | yarn.resourcemanager.scheduler.address | emrDeterminedIP:9023 ----sep----:9024 | valore di default (\$1\$1yarn.resourcemanager.hostname\$1:8030) | | yarn.resourcemanager.webapp.address | 0.0.0.0:9026 | valore di default (\$1\$1yarn.resourcemanager.hostname\$1:8088) | | yarn.web-proxy.address | emrDeterminedIP:9024 ----sep----:9046 | valore di default (no-value) | | yarn.resourcemanager.hostname | 0.0.0.0 (predefinito) | emrDeterminedIP | **Nota** *emrDeterminedIP*È un indirizzo IP generato da Amazon EMR. ## Utenti Quando si utilizza una versione di AMI, l'utente `hadoop` esegue tutti i processi e possiede tutti i file. In Amazon EMR versione 4.0.0 e versioni successive, gli utenti esistono a livello di componente e di applicazione. ## Sequenza di installazione, artifact installati e posizioni dei file di log Quando si utilizza una versione AMI, gli artefatti delle applicazioni e le relative directory di configurazione sono installati nella directory `/home/hadoop/application`. Ad esempio, se hai installato Hive, la directory sarebbe `/home/hadoop/hive`. In Amazon EMR 4.0.0 e versioni successive, gli artifact delle applicazioni sono installati nella directory `/usr/lib/application`. Quando si utilizza una versione AMI, i file di log si trovano in varie posizioni. La tabella seguente elenca tali posizioni. **Modifiche nelle posizioni dei log in Amazon S3** | Daemon o applicazione | Percorso della directory | | --- | --- | | instance-state | nodo/ instance-id /instance-state/ | | hadoop-hdfs-namenode | demoni/instance-id/.log hadoop-hadoop-namenode | | hadoop-hdfs-datanode | demoni/instance-id/hadoop-hadoop-datanode.log | | filato hadoop (ResourceManager) | demoni//instance-idyarn-hadoop-resourcemanager | | hadoop-yarn (server proxy) | demoni//instance-idyarn-hadoop-proxyserver | | mapred-historyserver | demoni//instance-id | | httpfs | demoni/ /httpfs.log instance-id | | hive-server | nodo/ /hive-server/hive-server.log instance-id | | hive-metastore | nodo/ /apps/hive.log instance-id | | CLI Hive | nodo/ /apps/hive.log instance-id | | Log utente e log di container delle applicazioni YARN | task-attempts/ | | Mahout | N/D | | Pig | N/D | | spark-historyserver | N/D | | File della cronologia dei processi mapreduce | jobs/ | ## Runner di comandi Quando utilizzi una versione AMI, molti script o programmi, come `/home/hadoop/contrib/streaming/hadoop-streaming.jar` non sono posizionati nell'ambiente del percorso di accesso alla shell, pertanto devi specificare il percorso completo quando utilizzi un file jar come command-runner.jar o script-runner.jar per eseguire gli script. Il file `command-runner.jar` si trova nell'AMI, non è quindi necessario disporre di un URI completo come avveniva con `script-runner.jar`. ## Fattore di replica Il fattore di replica ti consente di stabilire quando avviare una JVM Hadoop. È possibile avviare una nuova JVM Hadoop per ogni attività, che offre un migliore isolamento delle attività, oppure è possibile condividerla JVMs tra le attività, riducendo il sovraccarico del framework. Se stai elaborando molti file di piccole dimensioni, è logico riutilizzare la JVM molte volte per ammortizzare il costo di startup. Tuttavia, se ogni attività richiede molto tempo o elabora una grande quantità di dati, puoi scegliere di non riutilizzare la JVM per assicurarti che tutta la memoria sia disponibile per le attività successive. Quando utilizzi una versione AMI, puoi personalizzare il fattore di replica utilizzando l'operazione di bootstrap `configure-hadoop` per impostare la proprietà `mapred.job.reuse.jvm.num.tasks`. L'esempio seguente illustra l'impostazione del fattore di riutilizzo della JVM per un riutilizzo a tempo indeterminato della stessa. **Nota** I caratteri di continuazione della riga Linux (\$1) sono inclusi per la leggibilità. Possono essere rimossi o utilizzati nei comandi Linux. Per Windows, rimuoverli o sostituirli con un accento circonflesso (^). ``` aws emr create-cluster --name "Test cluster" --ami-version 3.11.0 \ --applications Name=Hue Name=Hive Name=Pig \ --use-default-roles --ec2-attributes KeyName=myKey \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \ InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge \ --bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hadoop,\ Name="Configuring infinite JVM reuse",Args=["-m","mapred.job.reuse.jvm.num.tasks=-1"] ```