View a markdown version of this page

Configurazione dell'accesso VPC per le applicazioni EMR Serverless per la connessione ai dati - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione dell'accesso VPC per le applicazioni EMR Serverless per la connessione ai dati

Puoi configurare le applicazioni EMR Serverless per connettersi ai tuoi archivi di dati all'interno del tuo VPC, come i cluster Amazon Redshift, i database Amazon RDS o i bucket Amazon S3 con endpoint VPC. La tua applicazione EMR Serverless è connessa in uscita agli archivi di dati all'interno del tuo VPC. Per impostazione predefinita, EMR Serverless blocca sia l'accesso in entrata alle applicazioni che l'accesso a Internet in uscita per migliorare la sicurezza.

Nota

È necessario configurare l'accesso VPC se si desidera utilizzare un database di metastore Hive esterno per l'applicazione. Per informazioni su come configurare un metastore Hive esterno, consulta Configurazione del metastore.

Crea applicazione

Sul Crea applicazione pagina, scegli le impostazioni personalizzate e specifica il VPC, le sottoreti e i gruppi di sicurezza che le applicazioni EMR Serverless possono utilizzare.

VPC

Scegli il nome del cloud privato virtuale (VPC) che contiene i tuoi archivi dati. Il Crea applicazione la pagina elenca tutti i VPC scelti Regione AWS.

Sottoreti

Scegli le sottoreti all'interno del VPC che contiene il tuo archivio dati. Le Crea applicazione la pagina elenca tutte le sottoreti per gli archivi di dati nel tuo VPC. Sono supportate sia le sottoreti pubbliche che quelle private. Puoi passare sottoreti private o pubbliche alle tue applicazioni. La scelta se avere una sottorete pubblica o privata comporta alcune considerazioni associate di cui tenere conto.

Per le sottoreti private:

  • Le tabelle di routing associate non devono disporre di gateway Internet.

  • Per la connettività in uscita a Internet, se necessario, configura i percorsi in uscita utilizzando un gateway NAT. Per configurare un gateway NAT, fare riferimento a Gateway NAT.

  • Per la connettività Amazon S3, configura un gateway NAT o un endpoint VPC. Per configurare un endpoint VPC S3, consulta Crea un endpoint gateway.

  • Se configuri un endpoint S3 VPC e alleghi una policy per controllare l'accesso, segui le istruzioni in Registrazione per EMR Serverless con storage gestito per fornire a EMR Serverless le autorizzazioni per archiviare e gestire i log delle applicazioni.

  • Per la connettività ad altri Servizi AWS all'esterno del VPC, ad esempio in Amazon DynamoDB, configura gli endpoint VPC o un gateway NAT. Per configurare gli endpoint VPC per Servizi AWS, fare riferimento a Lavora con gli endpoint VPC.

Nota

Quando configuri un'applicazione Amazon EMR Serverless in una sottorete privata, ti suggeriamo di configurare anche endpoint VPC per Amazon S3. Se la tua applicazione EMR Serverless si trova in una sottorete privata senza endpoint VPC per Amazon S3, dovrai sostenere costi aggiuntivi per il gateway NAT associati al traffico S3. Questo perché il traffico tra l'applicazione EMR e Amazon S3 non rimarrà all'interno del tuo VPC se gli endpoint VPC non sono configurati.

Per le sottoreti pubbliche:

  • Questi hanno un percorso verso un Internet Gateway.

  • È necessario garantire configurazioni adeguate dei gruppi di sicurezza per controllare il traffico in uscita.

I lavoratori possono connettersi agli archivi di dati all'interno del tuo VPC tramite traffico in uscita. Per impostazione predefinita, EMR Serverless blocca l'accesso in entrata ai lavoratori. Questo serve a migliorare la sicurezza.

Quando si utilizza AWS Config, EMR Serverless crea un record elastico degli elementi dell'interfaccia di rete per ogni lavoratore. Per evitare i costi legati a questa risorsa, valuta la possibilità di disattivare AWS::EC2::NetworkInterface nel AWS Config.

Nota

Ti consigliamo di selezionare più sottoreti in più zone di disponibilità. Questo perché le sottoreti scelte determinano le zone di disponibilità disponibili per l'avvio di un'applicazione EMR Serverless. Ogni lavoratore utilizza un indirizzo IP sulla sottorete in cui viene avviato. Assicurati che le sottoreti specificate abbiano indirizzi IP sufficienti per il numero di worker che intendi avviare. Per ulteriori informazioni sulla pianificazione delle sottoreti, consulta Procedure consigliate per la pianificazione delle sottoreti.

Considerazioni e limitazioni per le sottoreti

  • EMR Serverless con sottoreti pubbliche non supporta AWS Formazione del lago.

  • Il traffico in entrata non è supportato per le sottoreti pubbliche.

Gruppi di sicurezza

Scegli uno o più gruppi di sicurezza in grado di comunicare con i tuoi archivi dati. Il Creare un'applicazione la pagina elenca tutti i gruppi di sicurezza nel tuo VPC. EMR Serverless associa questi gruppi di sicurezza a interfacce di rete elastiche collegate alle sottoreti VPC.

Nota

Ti consigliamo di creare un gruppo di sicurezza separato per le applicazioni EMR Serverless. EMR Serverless non consente di Creare/Aggiornamento/Avvia l'applicazione se i gruppi di sicurezza dispongono di porte aperte alla rete Internet pubblica su 0.0.0.0/0 o il : /0 intervallo. Ciò fornisce maggiore sicurezza e isolamento e rende più efficiente la gestione delle regole di rete. Ad esempio, questo blocca il traffico imprevisto verso i lavoratori con indirizzi IP pubblici. Per comunicare con i cluster Amazon Redshift, ad esempio, definisci le regole di traffico tra i gruppi di sicurezza Redshift ed EMR Serverless, come illustrato nell'esempio nella sezione seguente.

Esempio Esempio: comunicazione con i cluster Amazon Redshift
  1. Aggiungi una regola per il traffico in entrata al gruppo di sicurezza Amazon Redshift da uno dei gruppi di sicurezza EMR Serverless.

    Tipo Protocollo Intervallo porte Origine

    Tutte le regole TCP

    TCP

    5439

    emr-serverless-security-group

  2. Aggiungi una regola per il traffico in uscita da uno dei gruppi di sicurezza EMR Serverless. Fatelo in due modi. Innanzitutto, apri il traffico in uscita verso tutte le porte.

    Tipo Protocollo Intervallo porte Destinazione

    Tutto il traffico

    TCP

    ALL

    0.0.0.0/0

    In alternativa, puoi limitare il traffico in uscita ai cluster Amazon Redshift. Ciò è utile solo quando l'applicazione deve comunicare con i cluster Amazon Redshift e nient'altro.

    Tipo Protocollo Intervallo porte Origine

    Tutte le regole TCP

    TCP

    5439

    redshift-security-group

Configura l'applicazione

È possibile modificare la configurazione di rete per un'applicazione EMR Serverless esistente dal Configurare l'applicazione pagina.

Accedere ai dettagli relativi all'esecuzione del lavoro

Sul Dettagli dell'esecuzione del lavoro pagina, accedi alla sottorete utilizzata dal tuo lavoro per un'esecuzione specifica. Nota che un job viene eseguito solo in una sottorete selezionata tra le sottoreti specificate.

Procedure consigliate per la pianificazione delle sottoreti

AWS le risorse vengono create in una sottorete che è un sottoinsieme di indirizzi IP disponibili in un Amazon VPC. Ad esempio, un VPC con una maschera di rete /16 ha fino a 65.536 indirizzi IP disponibili che possono essere suddivisi in più reti più piccole utilizzando maschere di sottorete. Ad esempio, è possibile suddividere questo intervallo in due sottoreti, ognuna delle quali utilizza la maschera /17 e 32.768 indirizzi IP disponibili. Una sottorete si trova all'interno di una zona di disponibilità e non può estendersi su più zone.

Le sottoreti devono essere progettate tenendo presente i limiti di scalabilità delle applicazioni EMR Serverless. Ad esempio, se avete un'applicazione che richiede 4 vCPU worker e può scalare fino a 4.000 vCPU, l'applicazione richiede al massimo 1.000 worker per un totale di 1.000 interfacce di rete. Ti consigliamo di creare sottoreti su più zone di disponibilità. Ciò consente a EMR Serverless di riprovare il lavoro o di fornire capacità preinizializzata in una zona di disponibilità diversa nel caso improbabile in cui una zona di disponibilità fallisca. Pertanto, ogni sottorete in almeno due zone di disponibilità deve avere più di 1.000 indirizzi IP disponibili.

Sono necessarie sottoreti con una dimensione della maschera inferiore o uguale a 22 per eseguire il provisioning di 1.000 interfacce di rete. Qualsiasi maschera superiore a 22 non soddisfa il requisito. Ad esempio, una subnet mask di /23 fornisce 512 indirizzi IP, mentre una maschera di /22 fornisce 1024 e una maschera di /21 fornisce 2048 indirizzi IP. Di seguito è riportato un esempio di 4 sottoreti con maschera /22 in una maschera di rete VPC di /16 che possono essere allocate a diverse zone di disponibilità. C'è una differenza di cinque tra gli indirizzi IP disponibili e quelli utilizzabili perché i primi quattro indirizzi IP e l'ultimo indirizzo IP in ciascuna sottorete sono riservati da AWS.

ID sottorete Indirizzo di sottorete Subnet mask Intervallo di indirizzi IP Indirizzi IP disponibili Indirizzi IP utilizzabili

1

10.0.0.0

255.255.252.0/22

10.0.0.0 - 10.0.3.255

1,024

1.019

2

10,04.0

255.255.252.0/22

10.0.4.0 - 10.0.7.255

1,024

1.019

3

10,0,8,0

255.255.252.0/22

10.0.8.0 - 10.0.11.255

1,024

1.019

4

10,012,0

255.255.252.0/22

10.0.12.0 - 10.0.15.255

1,024

1.019

Dovresti valutare se il tuo carico di lavoro è più adatto a lavoratori di grandi dimensioni. L'utilizzo di lavoratori di dimensioni maggiori richiede un minor numero di interfacce di rete. Ad esempio, l'utilizzo di worker a 16 vCPU con un limite di scalabilità delle applicazioni di 4.000 vCPU richiede al massimo 250 lavoratori per un totale di 250 indirizzi IP disponibili per il provisioning delle interfacce di rete. Per il provisioning di 250 interfacce di rete sono necessarie sottoreti in più zone di disponibilità con una dimensione della maschera inferiore o uguale a 24. Qualsiasi dimensione della maschera superiore a 24 offre meno di 250 indirizzi IP.

Se condividete sottoreti tra più applicazioni, ciascuna sottorete deve essere progettata tenendo conto dei limiti di scalabilità collettivi di tutte le applicazioni. Ad esempio, se hai 3 applicazioni che richiedono 4 vCPU worker e ciascuna può scalare fino a 4000 vCPU con una quota basata sul servizio di 12.000 vCPU a livello di account, ogni sottorete richiede 3000 indirizzi IP disponibili. In caso contrario, è possibile provare ad aumentare il numero di indirizzi IP disponibili. È possibile farlo associando Classless aggiuntivi Inter-Domain Blocchi di routing (CIDR) con il tuo VPC. Per ulteriori informazioni, consulta Associa blocchi CIDR IPv4 aggiuntivi al tuo VPC nel Guida per l'utente di Amazon VPC.

È possibile utilizzare uno dei tanti strumenti disponibili online per generare rapidamente definizioni di sottorete ed esaminare l'intervallo di indirizzi IP disponibile.