Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Connexions à l'API REST
AWS Glue les connecteurs couvrent un large éventail de sources de données, qu' AWS elles soient externes ou non. Cependant, il se peut qu'il existe des systèmes propriétaires ou des plateformes émergentes que les AWS Glue connecteurs natifs ne prennent pas en charge. Le connecteur AWS Glue REST fournit un mécanisme permettant de configurer un connecteur personnalisé pour toute source de données dotée d'une API basée sur REST qui fonctionne ensuite de la même manière que les connecteurs pris en charge AWS Glue de manière native. Cette fonctionnalité réduit le besoin de créer des bibliothèques personnalisées ou des scripts ETL pour accéder à ces sources de données.
Pour activer le connecteur d'API REST, AWS Glue a introduit une nouvelle AWS ressource : le type de connexion. Les opérations suivantes peuvent être utilisées pour gérer la connectivité aux sources de données basées sur l'API REST :
-
RegisterConnectionType- Enregistre un type de connexion en AWS Glue fonction de la configuration fournie. Pour la structure des demandes, voir RegisterConnectionType.
-
DeleteConnectionType- Supprime une configuration de type de connexion dans. AWS Glue Voir DeleteConnectionType.
-
DescribeConnectionType- Renvoie tous les détails des options prises en charge pour un type de connexion donné dans AWS Glue. Voir DescribeConnectionType.
-
ListConnectionTypes- Renvoie la liste des types de connexion avec des informations détaillées sur ce qui est pris en charge pour chaque type de AWS Glue connexion. Consultez ListConnectionTypes.
Création d'un type de connexion REST dans AWS Glue
Pour créer un type de connexion REST, utilisez le AWS CLI AWS SDK ou AWS l'API pour appeler l' RegisterConnectionType API. Les détails de configuration sont fournis en fonction de l'API REST à laquelle vous êtes connecté.
Note
Les connexions REST ne peuvent pas être créées à l'aide de AWS Glue la console
Prérequis
Avant de tenter de configurer votre connecteur d' AWS Glue API REST, vous devez vous familiariser avec le fonctionnement interne de l'API REST. Il est utile de disposer de la documentation de l'API REST pour la source de données et d'un outil pour inspecter la structure de demande/réponse.
Les propriétés suivantes de l'API REST doivent être identifiées :
-
Mécanisme d'authentification utilisé pour les appels effectués vers le point de terminaison REST. AWS Glue Les connecteurs d'API REST prennent en charge : l'authentification de base, OAuth2 - ClientCredentials, OAuth2 - le code d'autorisation, OAuth2 - l'authentification JWT et l'authentification personnalisée.
-
Entités (objets de données) que vous pouvez transférer via le point de terminaison REST et les métadonnées associées (telles que les noms de champs et les types de données).
-
Structure de requête et de réponse HTTP. Cette structure inclut la méthode HTTP, l'URL du point de terminaison, les en-têtes, les paramètres de requête, ainsi que le format du corps de la demande et de la charge utile de la réponse.
-
Le schéma de pagination. AWS Glue Les connecteurs d'API REST prennent en charge deux schémas de pagination :
cursor-basedet laoffset-basedpagination.
RegisterConnectionType
Enregistre un ConnectionType identifiant en AWS Glue fonction de la configuration fournie. La ConnectionType ressource est une nouvelle AWS Glue ressource qui stocke des informations sur la façon dont les demandes et les réponses sont interprétées par la source de données. Aujourd'hui, seul le protocole REST est supporté. Il encapsule des détails sur la source de l'API REST, tels que :
-
Propriétés de connexion - Définit BaseUrl la connexion à l'API REST et définit tous les paramètres de demande supplémentaires nécessaires pour prendre des entrées pendant AWS Glue CreateConnection.
-
Configuration de l'authentification : définit la manière dont les demandes adressées à l'API REST sont authentifiées. Cette configuration est utilisée lors de la création d'une AWS Glue connexion pour le type de connexion.
-
Configuration REST : définit la configuration des requêtes et réponses HTTP pour lire les données depuis la source de l'API REST. Les propriétés suivantes doivent être configurées au niveau global ou au niveau de l'entité :
-
Méthode de demande : définit la méthode HTTP REST.
-
Configuration de la réponse : définit la manière dont la réponse de l'API doit être interprétée (y compris les emplacements des enregistrements ou des erreurs dans le corps).
-
Configuration de la pagination : définit la stratégie utilisée par l'API REST pour paginer les enregistrements résultants et la manière dont les propriétés de pagination doivent être envoyées/récupérées.
-
Configuration du point de terminaison de validation : définit le point de terminaison à appeler pour valider une AWS Glue connexion.
-
Configurations d'entités : définit les entités REST prises en charge par le connecteur ainsi que leur schéma.
-
RegisterConnectionType Syntaxe de la demande
Une fois qu'un type de connexion à l'API REST a été enregistré, il est prêt à être utilisé pour créer des connexions à la source de données configurée. Reportez-vous à la section Connexion à REST APIs pour obtenir des instructions détaillées.
