Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Bûches rotatives
Amazon EMR Serverless peut effectuer une rotation des journaux des applications et des journaux d'événements Spark. La rotation des journaux permet de résoudre le problème des tâches de longue durée qui génèrent des fichiers journaux volumineux qui peuvent occuper tout votre espace disque. La rotation des journaux vous permet d'économiser de l'espace de stockage sur disque et de réduire le nombre d'échecs de tâches car il ne vous reste plus d'espace sur votre disque.
La rotation des journaux est activée par défaut et n'est disponible que pour les tâches Spark.
Journaux d'événements Spark
Note
La rotation du journal des événements Spark est disponible sur toutes les versions d'Amazon EMR.
Au lieu de générer un seul fichier journal des événements, EMR Serverless fait pivoter le journal des événements à un intervalle de temps régulier et supprime les anciens fichiers journaux des événements. La rotation des journaux n'affecte pas les journaux chargés dans le compartiment S3.
Journaux des applications Spark
Note
La rotation du journal des applications Spark est disponible sur toutes les étiquettes de version d'Amazon EMR.
EMR Serverless fait également pivoter les journaux de l'application Spark pour les pilotes et les exécuteurs, tels que et les fichiers. stdout stderr Vous pouvez accéder aux derniers fichiers journaux en choisissant les liens de journal dans Studio à l'aide des liens Spark History Server et Live UI. Les fichiers journaux sont les versions tronquées des derniers journaux. Pour faire référence aux anciens journaux pivotés, spécifiez un emplacement Amazon S3 lors du stockage des journaux. Reportez-vous à la section Journalisation pour EMR Serverless with Amazon S3 buckets pour plus d'informations.
Vous trouverez les derniers fichiers journaux à l'emplacement suivant. EMR Serverless actualise les fichiers toutes les 15 secondes. La taille de ces fichiers peut varier de 0 Mo à 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
L'emplacement suivant contient les anciens fichiers pivotés. Chaque fichier fait 128 Mo.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Le même comportement s'applique également aux exécuteurs Spark. Cette modification ne s'applique qu'à la journalisation S3. La rotation des journaux n'introduit aucune modification dans les flux de journaux chargés sur Amazon CloudWatch.
Les versions 7.1.0 et supérieures d'EMR Serverless prennent en charge les nouvelles tentatives pour les tâches de streaming et par lots. Si vous avez activé les nouvelles tentatives pour votre tâche, EMR Serverless ajoute un préfixe au chemin du journal pour ces tâches afin que vous puissiez mieux suivre et distinguer les journaux les uns des autres. Ce chemin contient tous les journaux pivotés.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
