Creazione di un cluster EMR di destinazione/applicazione EMR-S da quelli esistenti - Amazon EMR
Fasi:Clonazione di un'applicazione EMR Serverless nella versione di rilascio di destinazione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un cluster EMR di destinazione/applicazione EMR-S da quelli esistenti

Se hai già un EC2 cluster EMR che esegue la versione sorgente di Spark, puoi clonarlo per creare un nuovo cluster con la stessa configurazione ma una versione di release EMR aggiornata per eseguire i passaggi di convalida durante il processo di aggiornamento.

Fasi:

  1. Accedi Console di gestione AWS e apri la console Amazon EMR.

  2. Nel riquadro di navigazione a sinistra, scegli Clusters in EC2 EMR attivo.

  3. Dall'elenco dei cluster:

    • Usa la ricerca o i filtri, se necessario, per trovare il tuo cluster.

    • Seleziona la casella di controllo accanto al cluster che desideri clonare.

    • L'opzione Clone verrà visualizzata in cima all'elenco. Seleziona Clona.

    • Se il cluster ha dei passaggi configurati, scegli Includi passaggi e poi Continua a clonare i passaggi insieme alle altre impostazioni del cluster.

  4. Rivedi le impostazioni per il nuovo cluster che sono state copiate dal cluster originale.

  5. Aggiorna la versione di rilascio di Amazon EMR alla versione di destinazione.

  6. Come best practice per l'efficienza dei costi, valuta la possibilità di abilitare la scalabilità automatica durante la configurazione del cluster per regolare automaticamente la capacità in base alle richieste del carico di lavoro.

  7. Quando sei soddisfatto della configurazione, seleziona Crea cluster per avviare il nuovo cluster.

  8. Attendi che il cluster raggiunga lo stato In esecuzione e annota l'ID del cluster. Fornisci questo ID all'agente quando viene richiesto di convalidare l'applicazione aggiornata.

  9. Se preferisci creare un nuovo cluster da zero, consulta la documentazione EMR: https://docs.aws.amazon.com/emr/ latest/ManagementGuide/emr -gs.html.

Clonazione di un'applicazione EMR Serverless nella versione di rilascio di destinazione

Non esiste un modo diretto per clonare un'applicazione EMR Serverless su una nuova con una versione di rilascio EMR diversa. È invece possibile utilizzare EMR Serverless SDK/CLI o la console per creare una nuova applicazione e riutilizzare la configurazione da una esistente.

Ecco alcuni comandi CLI di supporto per iniziare:

aws emr-serverless get-application --application-id XXX > old-config.json  
cat old-config.json | jq '{  
  name: (.application.name + "<suffix to differentiate name from old application>"),  
  releaseLabel: "<target EMR release version>",  
  type: .application.type,  
  initialCapacity: .application.initialCapacity,  
  maximumCapacity: .application.maximumCapacity,  
  autoStartConfiguration: .application.autoStartConfiguration,  
  autoStopConfiguration: .application.autoStopConfiguration,  
  tags: .application.tags,  
  architecture: .application.architecture,  
  runtimeConfiguration: .application.runtimeConfiguration,  
  monitoringConfiguration: .application.monitoringConfiguration  
}' > new-config.json  
aws emr-serverless create-application --cli-input-json file://new-config.json

Nota: assicurati che il ruolo di esecuzione del lavoro per la nuova applicazione consenta a EMR Serverless di assumere il ruolo. Esamina la policy di attendibilità del ruolo. Se state riutilizzando lo stesso ruolo di esecuzione del lavoro della vecchia applicazione, aggiornate la politica di attendibilità per includere la nuova applicazione come illustrato di seguito:

#Replace the old application id and new application id in the policy  
{  
    "Version": "2012-10-17",		 	 	  
    "Statement": [  
        {  
            "Sid": "ServerlessTrustPolicy",  
            "Effect": "Allow",  
            "Principal": {  
                "Service": "emr-serverless.amazonaws.com"  
            },  
            "Action": "sts:AssumeRole",  
            "Condition": {  
                "StringLike": {  
                    "aws:SourceArn": [  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<old application id>",  
                        "arn:aws:emr-serverless:us-east-1:<account>:/applications/<new application id>"  
                    ]  
                }  
            }  
        }  
    ]  
}