View a markdown version of this page

Utilisation du stockage sans serveur pour Amazon EMR Serverless - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation du stockage sans serveur pour Amazon EMR Serverless

Avec les versions 7.12 et supérieures d'Amazon EMR, utilisez le stockage sans serveur lorsque vous exécutez des tâches Apache Spark afin d'éliminer le provisionnement des disques locaux, de réduire les coûts de traitement des données et d'éviter les échecs de tâches dus à des contraintes de capacité disque. Le stockage sans serveur gère automatiquement les opérations de brassage, de fuite de disque et de mise en cache des disques pour vos tâches sans nécessiter de configuration de capacité et stocke les données intermédiaires gratuitement. Amazon EMR Serverless stocke les données intermédiaires dans un stockage sans serveur entièrement géré qui évolue automatiquement en fonction des demandes de charge de travail et permet à Spark de libérer des agents de calcul immédiatement en cas d'inactivité, réduisant ainsi les coûts de calcul.

Principaux avantages

Le stockage sans serveur pour EMR Serverless offre les avantages suivants.

  • Zero-configuration stockage  : le stockage sans serveur élimine le besoin de configurer le type et la taille du disque local pour chaque application ou tâche. EMR Serverless gère automatiquement les opérations de données intermédiaires sans planification des capacités.

  • Prévient les échecs de tâches grâce à une mise à l'échelle automatique  : la capacité de stockage évolue automatiquement en fonction de la demande de charge de travail, évitant ainsi les défaillances de tâches dues à une capacité de disque insuffisante.

  • Coûts de traitement des données réduits  : le stockage sans serveur réduit les coûts de traitement grâce à deux mécanismes. Tout d'abord, le stockage de données intermédiaire est fourni gratuitement : vous ne payez que pour les ressources de calcul et de mémoire. Deuxièmement, le stockage découplé avec l'allocation dynamique des ressources de Spark permet à Spark de libérer les travailleurs immédiatement lorsqu'ils sont inactifs au lieu de les conserver pour préserver les données intermédiaires sur les disques locaux. Cela permet une mise à l'échelle et une intégration plus rapides par étape Spark, réduisant ainsi les coûts de calcul pour les tâches dont les étapes ultérieures nécessitent moins de personnel que les étapes initiales.

  • Stockage chiffré avec isolation au niveau de la tâche — Toutes les données intermédiaires sont chiffrées en transit et au repos avec une isolation stricte au niveau de la tâche.

  • Fine-grained prise en charge du contrôle d'accès  : le stockage sans serveur permet un contrôle d'accès précis grâce à l'intégration de AWS Lake Formation.

Prise en main

Consultez les étapes suivantes pour utiliser le stockage sans serveur pour EMR Serverless dans vos flux de travail Spark.

  1. Création d'une application EMR Serverless

    Créez une application EMR Serverless version 7.12 (ou ultérieure) avec le stockage sans serveur activé en définissant la propriété spark sur true dans la classification spark.aws.serverlessStorage.enabled spark-defaults.

    aws emr-serverless create-application \ --type "SPARK" \ --name my-application \ --release-label emr-7.12.0 \ --runtime-configuration '[{ "classification": "spark-defaults", "properties": { "spark.aws.serverlessStorage.enabled": "true" } }]' \ --region <AWS_REGION>
  2. Démarrez une tâche Spark

    Lancez une tâche sur votre candidature. Stockage sans serveur pour EMR Serverless gère automatiquement les opérations de données intermédiaires, telles que le shuffle pour votre travail.

    aws emr-serverless start-job-run \ --application-id <application-id> \ --execution-role-arn <job-role-arn> \ --job-driver '{ "sparkSubmit": { "entryPoint": "s3://<bucket>/script.py", "sparkSubmitParameters": "--conf spark.executor.cores=4 --conf spark.executor.memory=20g --conf spark.driver.cores=4 --conf spark.driver.memory=8g --conf spark.executor.instances=10" } }'

    Vous pouvez également activer le stockage sans serveur pour EMR Serverless au niveau de la tâche, même s'il n'est pas activé au niveau de l'application. Cela lancera des nœuds de travail dotés d'un stockage sans serveur pour traiter vos tâches. Vous pouvez également désactiver le stockage sans serveur pour une tâche spécifique en définissant la même propriété Spark spark.aws.serverlessStorage.enabled sur false.

    # Turn on serverless storage for EMR serverless for a specific job aws emr-serverless start-job-run \ --application-id <application-id> \ --execution-role-arn <job-role-arn> \ --job-driver '{ "sparkSubmit": { "entryPoint": "/usr/lib/spark/examples/jars/spark-examples.jar", "entryPointArguments": ["1"], "sparkSubmitParameters": "--class org.apache.spark.examples.SparkPi --conf spark.aws.serverlessStorage.enabled": "true" } }'
    Note

    Pour continuer à utiliser le provisionnement de disque local traditionnel, omettez la spark.aws.serverlessStorage.enabled configuration ou définissez-la sur False.

Considérations et restrictions

  • Version finale  : le stockage sans serveur est pris en charge sur les versions 7.12 et ultérieures d'Amazon EMR.

  • Limites de volume de données — Avec emr-7.12, emr-7.13 et emr-spark-8.0, chaque tâche peut lire et écrire jusqu'à 200 Go de données intermédiaires par exécution. Pour emr-7.14 et versions ultérieures, y compris emr-spark-8.1, cette limite passe à 1 To, sauf dans les régions signalées avec une limite de 200 Go dans Supporté ci-dessous. Régions AWS Les tâches dépassant la limite applicable échoueront avec un message d'erreur indiquant que la limite de stockage sans serveur a été atteinte.

  • Délai d'exécution des tâches  : le stockage sans serveur prend en charge les tâches avec des délais d'exécution allant jusqu'à 24 heures. Les tâches configurées pour des délais d'exécution plus longs échoueront avec un message d'erreur.

  • Pre-initialized capacité  : les agents Pre-initialized chargés des capacités ne prennent pas en charge le stockage sans serveur. Lorsque vous configurez la capacité pré-initialisée, elle ne sera utilisée que par les tâches qui désactivent explicitement le stockage sans serveur au niveau de la tâche. Les tâches pour lesquelles le stockage sans serveur est activé fourniront toujours de nouveaux travailleurs à la demande et n'utiliseront aucune capacité pré-initialisée, quelle que soit la configuration au niveau de l'application.

  • Types de charge de travail  : le stockage sans serveur n'est pas pris en charge pour le streaming et les tâches interactives.

  • Configuration des serveurs  : le stockage sans serveur n'est pas pris en charge pour les travailleurs dotés d'un ou de deux processeurs virtuels.

Pris en charge Régions AWS

EMR Serverless prend en charge le stockage sans serveur dans les régions suivantes :

  • USA Est (Virginie du Nord)

  • USA Est (Ohio)

  • USA Ouest (Californie du Nord)

  • US West (Oregon)

  • Asie-Pacifique (Hong Kong)

  • Asie-Pacifique (Jakarta)

  • Asie-Pacifique (Mumbai)

  • Asie-Pacifique (Osaka)

  • Asia Pacific (Seoul)

  • Asie-Pacifique (Singapour)

  • Asie-Pacifique (Sydney)

  • Asie-Pacifique (Tokyo)

  • Canada (Centre)

  • Europe (Francfort)

  • Europe (Irlande)

  • Europe (Espagne)

  • Europe (Stockholm)

  • Amérique du Sud (São Paulo)

  • Afrique (Le Cap) — Limite de 200 Go

  • Asie-Pacifique (Melbourne) — limite de 200 Go

  • Canada-Ouest (Calgary) — limite de 200 Go

  • Europe (Londres) — Limite de 200 Go

  • Europe (Milan) — Limite de 200 Go

  • Europe (Paris) — Limite de 200 Go

  • Europe (Zurich) — Limite de 200 Go