View a markdown version of this page

Riconfigurazione delle flotte di istanze per il tuo cluster Amazon EMR - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Riconfigurazione delle flotte di istanze per il tuo cluster Amazon EMR

Con Amazon EMR versione 5.21.0 e successive, puoi riconfigurare le applicazioni cluster e specificare classificazioni di configurazione aggiuntive per ogni parco di istanze in un cluster in esecuzione. A tale scopo, puoi utilizzare AWS Interfaccia a riga di comando (AWS CLI), oppure AWS SDK.

Puoi monitorare lo stato di un parco di istanze, visualizzando CloudWatch eventi. Per ulteriori informazioni, vedere Eventi di riconfigurazione del parco di istanze.

Nota

È possibile sovrascrivere solo l'oggetto Configurations del cluster specificato durante la creazione del cluster. Per ulteriori informazioni sugli oggetti Configurations, vedere RunJobFlow sintassi della richiesta. Se ci sono differenze tra la configurazione esistente e il file fornito, Amazon EMR ripristina le configurazioni modificate manualmente, ad esempio le configurazioni modificate durante la connessione al cluster tramite SSH, ai valori predefiniti del cluster per il parco di istanze specificato.

Quando invii una richiesta di riconfigurazione utilizzando la console Amazon EMR, AWS Interfaccia a riga di comando (AWS CLI), oppure AWS SDK, Amazon EMR controlla il file di configurazione esistente nel cluster. Se ci sono differenze tra la configurazione esistente e il file fornito, Amazon EMR avvia azioni di riconfigurazione, riavvia alcune applicazioni e reimposta tutte le configurazioni modificate manualmente, ad esempio le configurazioni modificate durante la connessione al cluster tramite SSH, ai valori predefiniti del cluster per il parco di istanze specificato.

Comportamenti di riconfigurazione

La riconfigurazione sovrascrive la configurazione del cluster con il set di configurazione appena inviato e può sovrascrivere le modifiche alla configurazione apportate all'esterno dell'API di riconfigurazione.

Amazon EMR segue un processo continuo per riconfigurare le istanze nel parco di istanze Task and Core. Solo una percentuale delle istanze per un singolo tipo di istanza viene modificata e riavviata alla volta. Se il tuo parco istanze presenta più configurazioni di tipi di istanza diversi, queste verranno riconfigurate in parallelo.

Le riconfigurazioni vengono dichiarate in InstanceTypeConfig livello. Per un esempio visivo, fare riferimento a Riconfigurare un parco di istanze. È possibile inviare richieste di riconfigurazione contenenti impostazioni di configurazione aggiornate per uno o più tipi di istanza all'interno di una singola richiesta. È necessario includere tutti i tipi di istanze che fanno parte del parco istanze nella richiesta di modifica; tuttavia, i tipi di istanza con campi di configurazione popolati verranno riconfigurati, mentre altri InstanceTypeConfig le istanze del parco istanze rimangono invariate. Una riconfigurazione è considerata riuscita solo quando tutte le istanze dei tipi di istanza specificati completano la riconfigurazione. Se una delle istanze non riesce a riconfigurarsi, l'intero parco istanze torna automaticamente all'ultima configurazione stabile nota.

Limitazioni

Quando riconfigurate un parco di istanze in un cluster in esecuzione, considerate le seguenti limitazioni:

  • Non-YARN le applicazioni possono fallire durante il riavvio o causare problemi al cluster, soprattutto se le applicazioni non sono configurate correttamente. I cluster che si avvicinano al massimo utilizzo della memoria e della CPU potrebbero essere interessati da problemi dopo il processo di riavvio. Ciò è particolarmente vero per il parco istanze primarie. Consulta il Risolvi i problemi di riconfigurazione del parco di istanze sezione.

  • Le operazioni di ridimensionamento e riconfigurazione non avvengono in parallelo. Le richieste di riconfigurazione attenderanno un ridimensionamento continuo e viceversa.

  • Le operazioni di ridimensionamento e riconfigurazione non avvengono in parallelo. Le richieste di riconfigurazione attenderanno un ridimensionamento continuo e viceversa.

  • Dopo aver riconfigurato un parco di istanze, Amazon EMR riavvia le applicazioni per consentire l'entrata in vigore delle nuove configurazioni. Errori del processo o altri comportamenti dell'applicazione imprevisti possono verificarsi se le applicazioni sono in uso durante la riconfigurazione.

  • Se una riconfigurazione per qualsiasi tipo di configurazione in un parco di istanze fallisce, Amazon EMR ripristina i parametri di configurazione alla precedente versione funzionante per l'intero parco istanze, insieme all'emissione di eventi e all'aggiornamento dei dettagli di stato. Se anche il processo di reversione fallisce, devi inviarne uno nuovo ModifyInstanceFleet richiesta di recupero del parco istanze dal ARRESTED stato. Gli errori di inversione comportano Eventi di riconfigurazione del parco di istanze e cambio di stato.

  • Le richieste di riconfigurazione per le classificazioni di configurazione Phoenix sono supportate solo in Amazon EMR versione 5.23.0 e successive e non in Amazon EMR versione 5.21.0 o 5.22.0.

  • Le richieste di riconfigurazione per le classificazioni di configurazione HBase sono supportate solo in Amazon EMR versione 5.30.0 e successive e non in Amazon EMR versioni da 5.23.0 a 5.29.0.

  • La riconfigurazione della classificazione hdfs-encryption-zones o di una qualsiasi delle classificazioni di configurazione di Hadoop KMS non è supportata su un cluster Amazon EMR con più nodi primari.

  • Amazon EMR attualmente non supporta alcune richieste di riconfigurazione per lo strumento di pianificazione della capacità YARN che richiedono il riavvio di YARN ResourceManager. Ad esempio, non è possibile rimuovere completamente una coda.

  • Quando YARN deve essere riavviato, tutti i lavori YARN in esecuzione vengono in genere terminati e persi. Ciò potrebbe causare ritardi nell'elaborazione dei dati. Per eseguire i processi YARN durante un riavvio di YARN, puoi creare un cluster Amazon EMR con più nodi primari o impostare yarn.resourcemanager.recovery.enabled su true nella classificazione della configurazione del sito del filato. Per ulteriori informazioni sull'utilizzo di più nodi master, vedere YARN ad alta disponibilità ResourceManager.

Riconfigurare un parco di istanze

Using the AWS CLI

Usa il modify-instance-fleet comando per specificare una nuova configurazione per un parco di istanze in un cluster in esecuzione.

Nota

Negli esempi seguenti, sostituisci J-2AL4xxxxxx5T9 con il tuo ID del cluster e sostituisci se-1xxxxxxx9 con l'ID della flotta della tua istanza.

Esempio: sostituzione di una configurazione per un parco di istanze

avvertimento

Specifica tutto InstanceTypeConfig campi che hai utilizzato al momento del lancio. La mancata inclusione dei campi può comportare la sovrascrittura delle specifiche dichiarate all'avvio. Fate riferimento a InstanceTypeConfig per un elenco.

L'esempio seguente fa riferimento a un file JSON di configurazione chiamato instanceFleet.json per modificare la proprietà dello YARN NodeManager disk health checker per un parco di istanze.

Modifica del parco di istanze (JSON)

  1. Prepara la classificazione della configurazione e salvala come istanzaFleet.json nella stessa directory in cui verrà eseguito il comando.

    { "InstanceFleetId":"if-1xxxxxxx9", "InstanceTypeConfigs": [ { "InstanceType": "m5.xlarge", other InstanceTypeConfig fields "Configurations": [ { "Classification": "yarn-site", "Properties": { "yarn.nodemanager.disk-health-checker.enable":"true", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0" } } ] }, { "InstanceType": "r5.xlarge", other InstanceTypeConfig fields "Configurations": [ { "Classification": "yarn-site", "Properties": { "yarn.nodemanager.disk-health-checker.enable":"false", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0" } } ] } ]
  2. Eseguire il seguente comando seguente.

    aws emr modify-instance-fleet \ --cluster-id j-2AL4XXXXXX5T9 \ --region us-west-2 \ --instance-fleet instanceFleet.json

Esempio: aggiungere una configurazione a un parco di istanze

Se desideri aggiungere una configurazione a un tipo di istanza, devi includere tutte le configurazioni precedentemente specificate per quel tipo di istanza nella nuova ModifyInstanceFleet richiesta. In caso contrario, le configurazioni specificate in precedenza vengono rimosse.

L'esempio seguente aggiunge una proprietà per YARN NodeManager strumento di controllo della memoria virtuale. La configurazione include anche i valori precedentemente specificati per lo YARN NodeManager disk health checker in modo che i valori non vengano sovrascritti.

  1. Prepara ad esempio i seguenti contenutiFleet.json e salvalo nella stessa directory in cui eseguirai il comando.

    { "InstanceFleetId":"if-1xxxxxxx9", "InstanceTypeConfigs": [ { "InstanceType": "m5.xlarge", other InstanceTypeConfig fields "Configurations": [ { "Classification": "yarn-site", "Properties": { "yarn.nodemanager.disk-health-checker.enable":"true", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"100.0", "yarn.nodemanager.vmem-check-enabled":"true", "yarn.nodemanager.vmem-pmem-ratio":"3.0" } } ] }, { "InstanceType": "r5.xlarge", other InstanceTypeConfig fields "Configurations": [ { "Classification": "yarn-site", "Properties": { "yarn.nodemanager.disk-health-checker.enable":"false", "yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage":"70.0" } } ] } ] }
  2. Eseguire il seguente comando seguente.

    aws emr modify-instance-fleet \ --cluster-id j-2AL4XXXXXX5T9 \ --region us-west-2 \ --instance-fleet instanceFleet.json
using the Java SDK
Nota

Negli esempi seguenti, sostituisci J-2AL4xxxxxx5T9 con il tuo ID del cluster e sostituisci se-1xxxxxxx9 con l'ID della flotta della tua istanza.

Il seguente frammento di codice fornisce una nuova configurazione per un parco di istanze utilizzando AWS SDK per Java.

AWSCredentials credentials = new BasicAWSCredentials("access-key", "secret-key"); AmazonElasticMapReduce emr = new AmazonElasticMapReduceClient(credentials); Map<String,String> hiveProperties = new HashMap<String,String>(); hiveProperties.put("hive.join.emit.interval","1000"); hiveProperties.put("hive.merge.mapfiles","true"); Configuration newConfiguration = new Configuration() .withClassification("hive-site") .withProperties(hiveProperties); List<InstanceTypeConfig> instanceTypeConfigList = new ArrayList<>(); for (InstanceTypeConfig instanceTypeConfig : currentInstanceTypeConfigList) { instanceTypeConfigList.add(new InstanceTypeConfig() .withInstanceType(instanceTypeConfig.getInstanceType()) .withBidPrice(instanceTypeConfig.getBidPrice()) .withWeightedCapacity(instanceTypeConfig.getWeightedCapacity()) .withConfigurations(newConfiguration) ); } InstanceFleetModifyConfig instanceFleetModifyConfig = new InstanceFleetModifyConfig() .withInstanceFleetId("if-1xxxxxxx9") .withInstanceTypeConfigs(instanceTypeConfigList); ModifyInstanceFleetRequest modifyInstanceFleetRequest = new ModifyInstanceFleetRequest() .withInstanceFleet(instanceFleetModifyConfig) .withClusterId("j-2AL4XXXXXX5T9"); emrClient.modifyInstanceFleet(modifyInstanceFleetRequest);

Risolvi i problemi di riconfigurazione del parco di istanze

Se il processo di riconfigurazione per qualsiasi tipo di istanza all'interno di un parco di istanze fallisce, Amazon EMR ripristina la riconfigurazione in corso e registra un messaggio di errore utilizzando un Amazon CloudWatch Eventi eventi. L'evento fornisce un breve riepilogo dell'errore di riconfigurazione. Elenca le istanze per le quali la riconfigurazione non è riuscita e i messaggi di errore corrispondenti. Di seguito è riportato un esempio di messaggio di errore.

Amazon EMR couldn't revert the instance fleet if-1xxxxxxx9 in the Amazon EMR cluster j-2AL4XXXXXX5T9 (ExampleClusterName) to the previously successful configuration at 2021-01-01 00:00 UTC. The reconfiguration reversion failed because of Instance i-xxxxxxx1, i-xxxxxxx2, i-xxxxxxx3 failed with message "This is an example failure message"...

Per accedere ai log di provisioning dei nodi

Utilizza SSH per connetterti al nodo sul quale la riconfigurazione non è riuscita. Per istruzioni, consulta Connettiti alla tua istanza Linux nel Amazon Elastic Compute Cloud.

Accessing logs by connecting to a node
  1. Passa alla directory seguente, che contiene i file di log di provisioning dei nodi.

    /mnt/var/log/provision-node/
  2. Apri la sottodirectory reports e cerca il report di provisioning dei nodi per la riconfigurazione. La directory dei report organizza i log in base al numero di versione di riconfigurazione, all'identificatore univoco universale (UUID), all'indirizzo IP dell'istanza Amazon EC2 e al timestamp. Ogni report è un file YAML compresso che contiene informazioni dettagliate sul processo di riconfigurazione. Di seguito è riportato un esempio di nome del file di report e relativo percorso.

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz
  3. Puoi esaminare un report utilizzando un visualizzatore di file come zless, come nell'esempio seguente.

    zless 202104061715.yaml.gz
Accessing logs using Amazon S3

Accedere al Console di gestione AWS e apri la console Amazon S3 all'indirizzo https://console.aws.amazon.com/s3/. Apri il bucket Amazon S3 specificato quando il cluster è stato configurato per archiviare i file di log.

  1. Passa alla cartella seguente, che contiene i file di log di provisioning dei nodi:

    amzn-s3-demo-bucket/elasticmapreduce/cluster id/node/instance id/provision-node/
  2. Apri la cartella dei report e cerca il report di provisioning dei nodi per la riconfigurazione. La cartella dei report organizza i log in base al numero di versione di riconfigurazione, all'identificatore univoco universale (UUID), all'indirizzo IP dell'istanza Amazon EC2 e al timestamp. Ogni report è un file YAML compresso che contiene informazioni dettagliate sul processo di riconfigurazione. Di seguito è riportato un esempio di nome del file di report e relativo percorso.

    /reports/2/ca598xxx-cxxx-4xxx-bxxx-6dbxxxxxxxxx/ip-10-73-xxx-xxx.ec2.internal/202104061715.yaml.gz

Per visualizzare un file di log, puoi scaricarlo da Amazon S3 sul tuo computer come file di testo. Per istruzioni, consulta Download di un oggetto.

Ogni file di log contiene un report di provisioning dettagliato per la riconfigurazione associata. Per trovare informazioni sui messaggi di errore, cerca il livello di log err di un report. Il formato del report dipende dalla versione di Amazon EMR sul cluster. L'esempio seguente mostra che le informazioni sugli errori per le versioni 5.32.0 e 6.2.0 di Amazon EMR e successive utilizzano il seguente formato:

- level: err message: 'Example detailed error message.' source: Puppet tags: - err time: '2021-01-01 00:00:00.000000 +00:00' file: line: