Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione dei CloudFormation modelli Amazon EMR nel Service Catalog
Questo argomento presuppone che gli amministratori conoscano i portafogli e i prodotti inclusi AWS Service Catalog, oltre ad Amazon EMR. CloudFormation
Per semplificare la creazione di cluster Amazon EMR da Studio, gli amministratori possono registrare un CloudFormation modello Amazon EMR come prodotto in un portafoglio. AWS Service Catalog Per rendere il modello disponibile ai data scientist, devono associare il portfolio al ruolo di esecuzione dell' SageMaker IA utilizzato in Studio o Studio Classic. Infine, per consentire agli utenti di rilevare i modelli, allocare i cluster e connettersi ai cluster Amazon EMR da Studio o Studio Classic, gli amministratori devono impostare le autorizzazioni di accesso appropriate.
I CloudFormation modelli Amazon EMR possono consentire agli utenti finali di personalizzare vari aspetti del cluster. Ad esempio, gli amministratori possono definire un elenco di tipi di istanze consentiti tra cui gli utenti possono scegliere durante la creazione del cluster.
Le seguenti istruzioni utilizzano end-to-end CloudFormation gli stack
Nota
Il GitHub repository aws-samples/ sagemaker-studio-emr
L'archivio sagemaker-studio-emr/cloudformation/emr_servicecatalog_templates
Per informazioni sui metodi di autenticazione che puoi utilizzare per connetterti a un cluster Amazon EMR, consulta Connect a un cluster Amazon EMR da SageMaker Studio o Studio Classic.
Per consentire ai data scientist di scoprire i CloudFormation modelli di Amazon EMR e il provisioning dei cluster da Studio o Studio Classic, segui questi passaggi.
Fase 0: verifica la rete e prepara lo stack CloudFormation
Prima di iniziare:
-
Assicurati di aver esaminato i requisiti di rete e sicurezza in Configurazione dell’accesso di rete per il cluster Amazon EMR.
-
È necessario disporre di uno end-to-end CloudFormation stack esistente che supporti il metodo di autenticazione desiderato. Puoi trovare esempi di tali CloudFormation modelli nel repository sagemaker-studio-emr GitHub aws-samples/
. I passaggi seguenti evidenziano le configurazioni specifiche del tuo end-to-end stack per consentire l'uso dei modelli Amazon EMR all'interno di Studio o Studio Classic.
Fase 1: Associa il tuo portafoglio Service Catalog all' SageMaker IA
Nel tuo portafoglio Service Catalog, associa l'ID del tuo portafoglio al ruolo di esecuzione SageMaker AI che accede al tuo cluster.
Per farlo, aggiungi la sezione seguente (qui in formato YAML) al tuo stack. Ciò garantisce al ruolo di esecuzione SageMaker AI l'accesso al portafoglio Service Catalog specificato contenente prodotti come i modelli Amazon EMR. Consente ai ruoli assunti dall' SageMaker intelligenza artificiale di lanciare tali prodotti.
Sostituisci SageMakerExecutionRole.Arn e SageMakerStudioEMRProductPortfolio.ID con i loro valori effettivi.
SageMakerStudioEMRProductPortfolioPrincipalAssociation: Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation Properties: PrincipalARN:SageMakerExecutionRole.ArnPortfolioId:SageMakerStudioEMRProductPortfolio.IDPrincipalType: IAM
Per dettagli sul set di autorizzazioni IAM richiesto, consulta la sezione sulle autorizzazioni.
Fase 2. Fai riferimento a un modello Amazon EMR in un prodotto del Catalogo dei servizi
In un prodotto del Catalogo dei servizi del tuo portfolio, fai riferimento a una risorsa del modello Amazon EMR e assicurane la visibilità in Studio o Studio Classic.
Per farlo, fai riferimento alla risorsa del modello Amazon EMR nella definizione del prodotto del Catalogo dei servizi e aggiungi la chiave di tag "sagemaker:studio-visibility:emr" impostata sul valore "true" (vedi l’esempio in formato YAML).
Nella definizione del prodotto Service Catalog, il CloudFormation modello del cluster viene referenziato tramite URL. Il tag aggiuntivo impostato su true garantisce la visibilità dei modelli Amazon EMR in Studio o Studio Classic.
Nota
Il modello Amazon EMR a cui fa riferimento l’URL fornito nell’esempio non richiede alcun requisito di autenticazione al momento dell’avvio. Questa opzione viene fornita per scopi dimostrativi e di apprendimento. Non è consigliata in un ambiente di produzione.
SMStudioEMRNoAuthProduct: Type: AWS::ServiceCatalog::CloudFormationProduct Properties: Owner: AWS Name: SageMaker Studio Domain No Auth EMR ProvisioningArtifactParameters: - Name: SageMaker Studio Domain No Auth EMR Description: Provisions a SageMaker domain and No Auth EMR Cluster Info: LoadTemplateFromURL:Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yamlTags: - Key: "sagemaker:studio-visibility:emr" Value: "true"
Fase 3: parametrizzare il modello Amazon EMR CloudFormation
Il CloudFormation modello utilizzato per definire il cluster Amazon EMR all'interno del prodotto Service Catalog consente agli amministratori di specificare parametri configurabili. Gli amministratori possono definire i valori Default e gli intervalli AllowedValues per questi parametri all’interno della sezione Parameters del modello. Durante il processo di avvio del cluster, i Data Scientist possono fornire input personalizzati o selezionare determinate opzioni predefinite per personalizzare alcuni aspetti del cluster Amazon EMR.
L'esempio seguente illustra parametri di input aggiuntivi che gli amministratori possono impostare durante la creazione di un modello Amazon EMR.
"Parameters": { "EmrClusterName": { "Type": "String", "Description": "EMR cluster Name." }, "MasterInstanceType": { "Type": "String", "Description": "Instance type of the EMR master node.", "Default": "m5.xlarge", "AllowedValues": [ "m5.xlarge", "m5.2xlarge", "m5.4xlarge" ] }, "CoreInstanceType": { "Type": "String", "Description": "Instance type of the EMR core nodes.", "Default": "m5.xlarge", "AllowedValues": [ "m5.xlarge", "m5.2xlarge", "m5.4xlarge", "m3.medium", "m3.large", "m3.xlarge", "m3.2xlarge" ] }, "CoreInstanceCount": { "Type": "String", "Description": "Number of core instances in the EMR cluster.", "Default": "2", "AllowedValues": [ "2", "5", "10" ] }, "EmrReleaseVersion": { "Type": "String", "Description": "The release version of EMR to launch.", "Default": "emr-5.33.1", "AllowedValues": [ "emr-5.33.1", "emr-6.4.0" ] } }
Dopo che gli amministratori hanno reso disponibili i modelli Amazon CloudFormation EMR all'interno di Studio, i data scientist possono utilizzarli per il provisioning autonomo dei cluster Amazon EMR. La sezione Parameters definita nel modello fornisce campi di input nel modulo di creazione del cluster all’interno di Studio o Studio Classic. Per ogni parametro, i Data Scientist possono inserire un valore personalizzato nella casella di input o selezionare una delle opzioni predefinite elencate in un menu a discesa, che corrisponde al valore AllowedValues specificato nel modello.
L'illustrazione seguente mostra il modulo dinamico assemblato da un modello CloudFormation Amazon EMR per creare un cluster Amazon EMR in Studio o Studio Classic.
Visita Avvio di un cluster Amazon EMR da Studio o Studio Classic per scoprire come avviare un cluster da Studio o Studio Classic utilizzando questi modelli Amazon EMR.
Fase 4. Configura le autorizzazioni per abilitare la pubblicazione e l’avvio di cluster Amazon EMR da Studio
Infine, collega le autorizzazioni IAM richieste per consentire la visualizzazione dei cluster Amazon EMR esistenti in esecuzione e il provisioning automatico di nuovi cluster da Studio o Studio Classic.
Il ruolo a cui è necessario aggiungere tali autorizzazioni varia a seconda che Studio o Studio Classic e Amazon EMR siano implementati nello stesso account (scegli Account singolo) o in account diversi (scegli Multi-account).
Importante
Puoi scoprire e connetterti ai cluster Amazon EMR solo per JupyterLab applicazioni Studio Classic lanciate da spazi privati. Assicurati che i cluster Amazon EMR si trovino nella stessa AWS regione del tuo ambiente Studio.
Se i tuoi cluster Amazon EMR e Studio o Studio Classic sono distribuiti nello stesso AWS account, collega le seguenti autorizzazioni al ruolo di esecuzione SageMaker AI che accede al tuo cluster.
-
Passaggio 1: recupera l'ARN del ruolo di esecuzione SageMaker dell'IA utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione nell' SageMaker intelligenza artificiale, consulta. Informazioni sulle autorizzazioni e sui ruoli di esecuzione dello spazio del dominio
Per ulteriori informazioni su come recuperare l'ARN del ruolo di esecuzione SageMaker dell'IA, vedere. Acquisizione del ruolo di esecuzione
-
Passaggio 2: assegna le seguenti autorizzazioni al ruolo di esecuzione SageMaker AI che accede ai tuoi cluster Amazon EMR.
-
Passare alla IAM console
(Console IAM). -
Scegli Ruoli, quindi cerca il tuo ruolo di esecuzione per nome nel campo di ricerca. Il nome del ruolo è l’ultima parte dell’ARN, dopo l’ultima barra (/).
-
Segui il link per il tuo ruolo.
-
Scegli Aggiungi autorizzazioni, quindi seleziona Crea policy inline.
-
Nella scheda JSON, aggiungi le autorizzazioni Amazon EMR che consentono l’accesso e le operazioni di Amazon EMR. Per dettagli sul documento di policy, consulta Elenco delle policy di Amazon EMR in Policy di riferimento. Sostituisci
regioneaccountIDcon i relativi valori effettivi prima di copiare l’elenco delle istruzioni nella policy inline del tuo ruolo. -
Scegli Avanti, quindi assegna un nome alla policy.
-
Scegli Crea policy.
-
Ripeti la fase Crea policy inline per aggiungere un’altra policy che conceda al ruolo di esecuzione le autorizzazioni necessarie per allocare nuovi cluster Amazon EMR utilizzando i modelli CloudFormation. Per i dettagli sul documento relativo alla policy, consulta Create Amazon EMRclusters policies inPolicy di riferimento. Sostituisci
regioneaccountIDcon i relativi valori effettivi prima di copiare l’elenco delle istruzioni nella policy inline del tuo ruolo.
-
Nota
Gli utenti della connettività RBAC (controllo degli accessi basato su ruoli) ai cluster Amazon EMR devono consultare anche Configura l'autenticazione del ruolo di runtime quando il cluster Amazon EMR e Studio si trovano nello stesso account.
Prima di iniziare, recupera l'ARN del ruolo di esecuzione SageMaker dell'IA utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione nell' SageMaker intelligenza artificiale, consulta. Informazioni sulle autorizzazioni e sui ruoli di esecuzione dello spazio del dominio
Per ulteriori informazioni su come recuperare l'ARN del ruolo di esecuzione SageMaker dell'IA, vedere. Acquisizione del ruolo di esecuzione
Se i tuoi cluster Amazon EMR e Studio o Studio Classic sono distribuiti in AWS account separati, configuri le autorizzazioni su entrambi gli account.
Nota
Gli utenti della connettività RBAC (controllo degli accessi basato su ruoli) ai cluster Amazon EMR devono consultare anche Configura l'autenticazione del ruolo di runtime quando il cluster e Studio si trovano in account diversi.
Sull’account del cluster Amazon EMR
Segui questa procedura per creare i ruoli e le policy necessari sull’account su cui è implementato Amazon EMR, noto anche come account che concede l’attendibilità:
-
Fase 1. Recupera l’ARN del ruolo di servizio del tuo cluster Amazon EMR.
Per informazioni su come trovare l’ARN del ruolo di servizio di un cluster, consulta Configurazione dei ruoli di servizio IAM per le autorizzazioni di Amazon EMR per i servizi e le risorse AWS.
-
Fase 2. Crea un ruolo IAM personalizzato denominato
AssumableRolecon la seguente configurazione:-
Autorizzazioni: concedi le autorizzazioni necessarie a
AssumableRoleper consentire l’accesso alle risorse Amazon EMR. Questo ruolo è noto anche come ruolo di accesso in scenari che prevedono l’accesso multi-account. -
Relazione di attendibilità: configura la policy di attendibilità per
AssumableRoleper consentire l’assunzione del ruolo di esecuzione (SageMakerExecutionRolenel diagramma multi-account) dall’account Studio che richiede l’accesso.
Assumendo il ruolo, Studio o Studio Classic può ottenere l’accesso temporaneo alle autorizzazioni necessarie in Amazon EMR.
Per istruzioni dettagliate su come crearne uno nuovo
AssumableRolenel tuo AWS account Amazon EMR, segui questi passaggi:-
Passare alla IAM console
(Console IAM). -
Nel riquadro di navigazione a sinistra, scegli Policy, quindi scegli Crea policy.
-
Nella scheda JSON, aggiungi le autorizzazioni Amazon EMR che consentono l’accesso e le operazioni di Amazon EMR. Per dettagli sul documento di policy, consulta Elenco delle policy di Amazon EMR in Policy di riferimento. Sostituisci
regioneaccountIDcon i relativi valori effettivi prima di copiare l’elenco delle istruzioni nella policy inline del tuo ruolo. -
Scegli Avanti, quindi assegna un nome alla policy.
-
Scegli Crea policy.
-
Nel riquadro di navigazione a sinistra, scegli Ruoli, quindi Crea ruolo.
-
Nella pagina Crea ruolo, scegli Policy di attendibilità personalizzata come entità attendibile.
-
Incolla il documento JSON seguente nella sezione Policy di attendibilità personalizzata, quindi scegli Avanti.
-
Nella pagina Aggiungi autorizzazioni, aggiungi l’autorizzazione appena creata, quindi scegli Avanti.
-
Nella pagina Verifica, inserisci un nome per il ruolo, ad esempio
AssumableRolee una descrizione facoltativa. -
Verifica i dettagli del ruolo e scegli Create role (Crea ruolo).
Per ulteriori informazioni sulla creazione di un ruolo su un account AWS, consulta Creazione di un ruolo IAM (console).
-
Sull’account Studio
Sull'account in cui è distribuito Studio, noto anche come account affidabile, aggiorna il ruolo di esecuzione SageMaker AI che accede ai cluster con le autorizzazioni necessarie per accedere alle risorse dell'account affidabile.
-
Passaggio 1: recupera l'ARN del ruolo di esecuzione SageMaker dell'IA utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione nell' SageMaker intelligenza artificiale, consulta. Informazioni sulle autorizzazioni e sui ruoli di esecuzione dello spazio del dominio
Per ulteriori informazioni su come recuperare l'ARN del ruolo di esecuzione SageMaker dell'IA, vedere. Acquisizione del ruolo di esecuzione
-
Passaggio 2: assegna le seguenti autorizzazioni al ruolo di esecuzione SageMaker AI che accede ai tuoi cluster Amazon EMR.
-
Passare alla IAM console
(Console IAM). -
Scegli Ruoli, quindi cerca il tuo ruolo di esecuzione per nome nel campo di ricerca. Il nome del ruolo è l’ultima parte dell’ARN, dopo l’ultima barra (/).
-
Segui il link per il tuo ruolo.
-
Scegli Aggiungi autorizzazioni, quindi seleziona Crea policy inline.
-
Nella scheda JSON, aggiungi la policy inline che concede al ruolo le autorizzazioni per aggiornare i domini, i profili utente e gli spazi. Per dettagli sul documento di policy, consulta Policy relativa alle azioni di aggiornamento dello spazio, del profilo utente e del dominio in Policy di riferimento. Sostituisci
regioneaccountIDcon i relativi valori effettivi prima di copiare l’elenco delle istruzioni nella policy inline del tuo ruolo. -
Scegli Avanti, quindi assegna un nome alla policy.
-
Scegli Crea policy.
-
Ripeti la fase Crea policy inline per aggiungere un’altra policy che conceda al ruolo di esecuzione le autorizzazioni necessarie per assumere
AssumableRolee quindi eseguire le azioni consentite dalla policy di accesso del ruolo. Sostituisciemr-accountcon l’ID dell’account Amazon EMR eAssumableRolecon il nome del ruolo assumibile creato nell’account Amazon EMR. -
Ripeti la fase Crea policy inline per aggiungere un’altra policy che conceda al ruolo di esecuzione le autorizzazioni necessarie per allocare nuovi cluster Amazon EMR utilizzando i modelli CloudFormation. Per i dettagli sul documento relativo alla policy, consulta Create Amazon EMRclusters policies inPolicy di riferimento. Sostituisci
regioneaccountIDcon i relativi valori effettivi prima di copiare l’elenco delle istruzioni nella policy inline del tuo ruolo. -
(Facoltativo) Per consentire la visualizzazione dei cluster Amazon EMR implementati nello stesso account di Studio, aggiungi un’altra policy inline al tuo ruolo di esecuzione di Studio, come definito in Visualizzazione delle policy di Amazon EMR in Policy di riferimento.
-
-
Fase 3: Associa il/i tuo/i ruolo/i assumere/i (ruolo di accesso) al tuo dominio o profilo utente. JupyterLab gli utenti di Studio possono utilizzare la console SageMaker AI o lo script fornito.
Scegli la scheda che corrisponde al tuo caso d’uso.