Utilisation d’AWS Serverless Application Repository pour déployer un connecteur de source de données Hive

Pour utiliser l'AWS Serverless Application Repository pour déployer un connecteur de source de données pour Hive sur votre compte

1. Connectez-vous à AWS Management Console et ouvrez le référentiel d'applications sans serveur.

2. Dans le volet de navigation, choisissez Applications.

3. Sélectionnez l'option Show apps that create custom IAM roles or resource policies (Afficher les applications qui créent des rôles IAM ou des politiques de ressources personnalisés).

4. Dans la zone de recherche, saisissez Hive. Les connecteurs qui apparaissent incluent les deux connecteurs suivants :

   • AthenaHiveMetastoreFunction – Fichier .jar de fonction Lambda uber.

   • AthenaHiveMetastoreFunctionWithLayer – Fichier .jar de fonction Lambda mince et de couche Lambda.

   Les deux applications ont les mêmes fonctionnalités et ne diffèrent que par leur implémentation. Vous pouvez utiliser l'une de ces deux méthodes pour créer une fonction Lambda qui connecte Athena à votre métastore Hive.

5. Choisissez le nom du connecteur que vous souhaitez utiliser. Ce didacticiel utilise AthenaHiveMetastoreFunction.

   

6. Sous Application settings (Paramètres de l'application), saisissez les paramètres de votre fonction Lambda.

   • LambdaFuncName – Indique le nom de la fonction. Par exemple, myHiveMetastore.

   • SpillLocation – Spécifiez un emplacement Amazon S3 dans ce compte pour contenir les métadonnées de débordement si la taille de la réponse de la fonction Lambda dépasse 4 Mo.

   • HMSUris – Saisissez l'URI de l'hôte de votre métastore Hive qui utilise le protocole Thrift au port 9083. Utilisez la syntaxe thrift://<host_name>:9083.

   • LambdaMemory – Spécifiez une valeur comprise entre 128 Mo et 3 008 Mo. La fonction Lambda se voit allouer des cycles d'UC proportionnels à la quantité de mémoire que vous configurez. La valeur par défaut est 1024.

   • LambdaTimeout – Spécifiez la durée d'exécution maximale autorisée des invocations Lambda en secondes, de 1 à 900 (900 secondes correspondent à 15 minutes). La valeur par défaut est de 300 secondes (5 minutes).

   • VPCSecurityGroupIds – Saisissez une liste séparée par des virgules des ID de groupe de sécurité du VPC pour le métastore Hive.

   • VPCSubnetIds – Saisissez une liste séparée par des virgules des ID de sous-réseau VPC pour le métastore Hive.

7. En bas à droite de la page Application details (Détails de l'application), sélectionnez I acknowledge that this app creates custom IAM roles (Je reconnais que cette application crée des rôles IAM personnalisés), puis choisissez Deploy (Déployer).