Utilisation de propriétés Spark pour spécifier une configuration personnalisée - Amazon Athena
Utilisation de la console AthenaUtilisation de l'AWS CLI ou de l'API Athena

Utilisation de propriétés Spark pour spécifier une configuration personnalisée

Lorsque vous créez ou modifiez une session dans Amazon Athena pour Apache Spark, vous pouvez utiliser les propriétés Spark pour spécifier des fichiers .jar, des packages ou une autre configuration personnalisée pour la session. Pour spécifier vos propriétés Spark, vous pouvez utiliser la console Athena, l'AWS CLI, ou l'API Athena.

Utilisation de la console Athena pour spécifier des propriétés Spark

Dans la console Athena, vous pouvez spécifier vos propriétés Spark lorsque vous créez un bloc-notes ou modifiez une session en cours.

Pour ajouter des propriétés dans la boîte de dialogue Créer un bloc-notes ou Modifier les détails de la session

  1. Développez les propriétés Spark.

  2. Pour ajouter vos propriétés, utilisez l'option Modifier dans la table ou Modifier dans JSON.

    • Pour l'option Modifier dans la table, choisissez Ajouter une propriété pour ajouter une propriété, ou choisissez Supprimer pour supprimer une propriété. Utilisez les champs Clé et Valeur pour saisir les noms des propriétés et leurs valeurs.

      • Pour ajouter un fichier .jar personnalisé, utilisez la propriété spark.jars.

      • Utilisez la propriété spark.jars.packages pour spécifier un fichier de package.

    • Pour saisir et modifier directement votre configuration, choisissez l'option Modifier dans JSON. Dans l'éditeur de texte JSON, vous pouvez effectuer les tâches suivantes :

      • Choisissez Copier pour copier le texte JSON dans le presse-papier.

      • Choisissez Effacer pour supprimer tout le texte de l'éditeur JSON.

      • Choisissez l'icône des paramètres (engrenage) pour configurer l'encapsulage des lignes ou choisissez un thème de couleur pour l'éditeur JSON.

Remarques

  • Vous pouvez définir des propriétés dans Athena pour Spark, ce qui revient à définir les propriétés Spark directement sur un objet SparkConf.

  • Commencez toutes les propriétés Spark par le préfixe spark.. Les propriétés comportant d'autres préfixes sont ignorées.

  • Les propriétés Spark ne sont pas toutes disponibles pour une configuration personnalisée sur Athena. Si vous soumettez une demande StartSession dont la configuration est restreinte, la session ne démarre pas.

    • Vous ne pouvez pas utiliser le préfixe spark.athena. car il est réservé.

Utilisation de l’AWS CLI ou de l’API Athena pour fournir une configuration personnalisée

Pour utiliser l'AWS CLI ou l'API Athena afin de configurer votre session, utilisez l'action d'API StartSession ou la commande CLI start-session. Dans votre demande StartSession, utilisez le champ SparkProperties de l'objet EngineConfiguration pour transmettre vos informations de configuration au format JSON. Cela démarre une session avec la configuration spécifiée. Pour connaître la syntaxe des demandes, consultez StartSession dans la Référence d'API Amazon Athena.