Considérations et restrictions - Amazon Athena
Apache Spark version 3.5Moteur Pyspark version 3

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations et restrictions

Apache Spark version 3.5

Voici les considérations et les limites relatives à la version finale d'Apache Spark version 3.5 :

  • Cette version est disponible dans les versions suivantes Régions AWS :

    • Asie-Pacifique (Mumbai)

    • Asie-Pacifique (Séoul)

    • Asie-Pacifique (Singapour)

    • Asie-Pacifique (Sydney)

    • Asie-Pacifique (Tokyo)

    • Canada (Centre)

    • Europe (Francfort)

    • Europe (Irlande)

    • Europe (Londres)

    • Europe (Paris)

    • Europe (Stockholm)

    • Amérique du Sud (São Paulo)

    • USA Est (Virginie du Nord)

    • USA Est (Ohio)

    • USA Ouest (Oregon)

  • Cette version du moteur ne prend pas en charge les blocs-notes intégrés à la console ou les blocs-notes Athena. APIs Cette version est plutôt intégrée aux blocs-notes Amazon SageMaker AI Unified Studio. Vous pouvez également utiliser des clients Spark Connect compatibles.

  • Les calculs APIs - ListCalculationExecutions et StartCalculationExecutionGetCalculationExecution, ne sont pas pris en charge dans cette version.

  • Vous ne pouvez pas mettre à niveau un groupe de travail de la version 3 PySpark du moteur vers la version 3.5 d'Apache Spark.

Moteur Pyspark version 3

Voici les considérations et les limites relatives à la version finale du moteur Pyspark version 3 :

  • Cette version est disponible dans les versions suivantes Régions AWS :

    • Asie-Pacifique (Mumbai)

    • Asie-Pacifique (Singapour)

    • Asie-Pacifique (Sydney)

    • Asie-Pacifique (Tokyo)

    • Europe (Francfort)

    • Europe (Irlande)

    • USA Est (Virginie du Nord)

    • USA Est (Ohio)

    • USA Ouest (Oregon)

  • AWS Lake Formation n'est pas pris en charge.

  • Les tables qui utilisent la projection de partitions ne sont pas prises en charge.

  • Les groupes de travail compatibles avec Apache Spark peuvent utiliser l'éditeur de bloc-notes Athena, mais pas l'éditeur de requêtes Athena. Seuls les groupes de travail Athena SQL peuvent utiliser l'éditeur de requêtes Athena.

  • Les requêtes de vue inter-moteurs ne sont pas prises en charge. Les vues créées par Athena SQL ne sont pas interrogeables par Athena pour Spark. Les vues des deux moteurs étant implémentées différemment, elles ne sont pas compatibles pour une utilisation inter-moteurs.

  • MLlib (bibliothèque d'apprentissage automatique Apache Spark) et le pyspark.ml package ne sont pas pris en charge. Pour obtenir la liste des bibliothèques Python prises en charge, voir Liste des bibliothèques Python préinstallées.

  • pip install n’est actuellement pas pris en charge dans les sessions Athena pour Spark.

  • Une seule session active par bloc-notes est autorisée.

  • Lorsque plusieurs utilisateurs utilisent la console pour ouvrir une session existante dans un groupe de travail, ils accèdent au même bloc-notes. Pour éviter toute confusion, n’ouvrez que les sessions que vous créez vous-même.

  • Les domaines d'hébergement pour les applications Apache Spark que vous pouvez utiliser avec Amazon Athena (par exemple analytics-gateway.us-east-1.amazonaws.com) sont enregistrés dans la liste des suffixes publics (PSL) Internet. Si vous devez définir des cookies sensibles dans vos domaines, nous vous recommandons d'utiliser des cookies avec un préfixe __Host- pour protéger votre domaine contre les tentatives CSRF (cross-site request forgery). Pour plus d'informations, veuillez consulter la page Set-Cookie de la documentation pour les développeurs de Mozilla.org (langue française non garantie).

  • Pour plus d'informations sur la résolution des problèmes liés aux blocs-notes, sessions et groupes de travail Spark dans Athena, voir Résolution des problèmes liés à Athena pour Spark.