Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Utilizzo dello storage serverless per Amazon EMR Serverless
Con le versioni 7.12 e successive di Amazon EMR, utilizza lo storage serverless quando esegui i job di Apache Spark per eliminare il provisioning del disco locale, ridurre i costi di elaborazione dei dati e prevenire gli errori dei job dovuti ai vincoli di capacità del disco. Lo storage serverless gestisce automaticamente le operazioni di shuffle, disk spill e caching su disco per i tuoi processi senza richiedere la configurazione della capacità e archivia i dati intermedi senza alcun costo. Amazon EMR Serverless archivia i dati intermedi in uno storage serverless completamente gestito che si ridimensiona automaticamente in base alle richieste di carico di lavoro e consente a Spark di rilasciare immediatamente i lavoratori di elaborazione quando sono inattivi, riducendo i costi di elaborazione.
Vantaggi principali
Lo storage serverless per EMR Serverless offre i seguenti vantaggi.
-
Zero-configuration storage: lo storage serverless elimina la necessità di configurare il tipo e la dimensione del disco locale per ogni applicazione o processo. EMR Serverless gestisce automaticamente le operazioni intermedie sui dati senza pianificazione della capacità.
-
Previene gli errori dei processi attraverso il ridimensionamento automatico: la capacità di archiviazione si ridimensiona automaticamente in base alla domanda del carico di lavoro, prevenendo gli errori dei processi dovuti a una capacità del disco insufficiente.
-
Costi di elaborazione dei dati ridotti: lo storage serverless riduce i costi di elaborazione attraverso due meccanismi. Innanzitutto, lo storage intermedio dei dati viene fornito gratuitamente: si paga solo per le risorse di elaborazione e memoria. In secondo luogo, lo storage disaccoppiato con l'allocazione dinamica delle risorse di Spark consente a Spark di rilasciare immediatamente i lavoratori quando sono inattivi anziché conservarli per conservare i dati intermedi sui dischi locali. Ciò consente uno scale-out e uno scale-in più rapidi per ogni fase di Spark, riducendo i costi di elaborazione per i lavori in cui le fasi successive richiedono meno lavoratori rispetto alle fasi iniziali.
-
Storage crittografato con isolamento a livello di lavoro: tutti i dati intermedi vengono crittografati in transito e in archivio con un rigoroso isolamento a livello di lavoro.
-
Fine-grained supporto per il controllo degli accessi: lo storage serverless supporta il controllo granulare degli accessi tramite l'integrazione di Lake Formation. AWS
Nozioni di base
Segui i passaggi seguenti per utilizzare lo storage serverless per EMR Serverless nei tuoi flussi di lavoro Spark.
-
Crea un'applicazione EMR Serverless
Crea un'applicazione EMR Serverless release 7.12 (o successiva) con storage serverless abilitato impostando la proprietà
spark.aws.serverlessStorage.enabledspark su true nella classificazione spark-defaults.aws emr-serverless create-application \ --type "SPARK" \ --namemy-application\ --release-label emr-7.12.0 \ --runtime-configuration '[{ "classification": "spark-defaults", "properties": { "spark.aws.serverlessStorage.enabled": "true" } }]' \ --region<AWS_REGION> -
Avvia un lavoro con Spark
Avvia un processo eseguito sulla tua applicazione. Lo storage serverless per EMR Serverless gestisce automaticamente le operazioni intermedie sui dati, ad esempio lo shuffle for your job.
aws emr-serverless start-job-run \ --application-id<application-id>\ --execution-role-arn<job-role-arn>\ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://<bucket>/script.py", "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=10" } }'È inoltre possibile abilitare lo storage serverless per EMR Serverless a livello di lavoro anche quando non è abilitato a livello di applicazione. Questo avvierà i nodi di lavoro abilitati allo storage serverless per elaborare i lavori. Puoi anche disabilitare l'archiviazione serverless per un lavoro specifico impostando la stessa proprietà
spark.aws.serverlessStorage.enabledSpark su false.# Turn on serverless storage for EMR serverless for a specific job aws emr-serverless start-job-run \ --application-id<application-id>\ --execution-role-arn<job-role-arn>\ --job-driver '{ "sparkSubmit": { "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar", "entryPointArguments": ["1"], "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.aws.serverlessStorage.enabled": "true" } }'NotaPer continuare a utilizzare il tradizionale provisioning locale su disco, ometti la
spark.aws.serverlessStorage.enabledconfigurazione o impostala su false.
Considerazioni e limitazioni
-
Versione di rilascio: lo storage serverless è supportato su Amazon EMR versione 7.12 e successive.
-
Limiti del volume di dati: con emr-7.12, emr-7.13 ed emr-spark-8.0, ogni processo può leggere e scrivere fino a 200 GB di dati intermedi per esecuzione di processo. Per emr-7.14 e versioni successive, incluso emr-spark-8.1, questo limite aumenta a 1 TB, tranne nelle regioni indicate con un limite di 200 GB nella sezione Supportata di seguito. Regioni AWS I processi che superano il limite applicabile avranno esito negativo e verrà visualizzato un messaggio di errore che indica che è stato raggiunto il limite di archiviazione serverless.
-
Timeout di esecuzione dei processi: lo storage serverless supporta i lavori con timeout di esecuzione fino a 24 ore. I job configurati per timeout di esecuzione più lunghi avranno esito negativo e verrà visualizzato un messaggio di errore.
-
Pre-initialized capacità: i Pre-initialized capacity worker non supportano lo storage senza server. Quando si configura la capacità preinizializzata, questa verrà utilizzata solo dai job che disabilitano esplicitamente lo storage serverless a livello di job. I processi con lo storage serverless abilitato forniranno sempre nuovi lavoratori su richiesta e non utilizzeranno alcuna capacità preinizializzata, indipendentemente dalla configurazione a livello di applicazione.
-
Tipi di carico di lavoro: lo storage serverless non è supportato per lo streaming e i lavori interattivi.
-
Configurazione Worker: lo storage serverless non è supportato per i lavoratori con 1 o 2 vCPU.
Supportata Regioni AWS
EMR Serverless supporta lo storage serverless nelle seguenti regioni:
-
Stati Uniti orientali (Virginia settentrionale)
-
Stati Uniti orientali (Ohio)
-
Stati Uniti occidentali (California settentrionale)
-
Stati Uniti occidentali (Oregon)
-
Asia Pacifico (Hong Kong)
-
Asia Pacifico (Giacarta)
-
Asia Pacifico (Mumbai)
-
Asia Pacifico (Osaka)
-
Asia Pacifico (Seoul)
-
Asia Pacifico (Singapore)
-
Asia Pacifico (Sydney)
-
Asia Pacifico (Tokyo)
-
Canada (Centrale)
-
Europa (Francoforte)
-
Europa (Irlanda)
-
Europa (Spagna)
-
Europa (Stoccolma)
-
Sud America (San Paolo)
-
Africa (Città del Capo): limite di 200 GB
-
Asia Pacifico (Melbourne) — limite di 200 GB
-
Canada occidentale (Calgary) — limite di 200 GB
-
Europa (Londra) — limite di 200 GB
-
Europa (Milano) — limite 200 GB
-
Europa (Parigi) — limite di 200 GB
-
Europa (Zurigo) — limite di 200 GB