REST-API-Verbindungen - AWS Glue
Erstellen eines REST-Verbindungstyps in AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

REST-API-Verbindungen

AWS Glue Konnektoren decken ein breites Spektrum an externen AWS und externen Datenquellen ab. Möglicherweise gibt es jedoch proprietäre Systeme oder neue Plattformen, die von nativen AWS Glue Konnektoren nicht unterstützt werden. Der AWS Glue REST-Konnektor bietet einen Mechanismus zum Konfigurieren eines benutzerdefinierten Connectors für jede Datenquelle, die über eine REST-basierte API verfügt, die dann genauso funktioniert wie nativ unterstützte AWS Glue Konnektoren. Diese Funktion minimiert die Notwendigkeit, benutzerdefinierte Bibliotheken oder ETL-Skripts für den Zugriff auf diese Datenquellen zu erstellen.

Um den REST-API-Konnektor zu aktivieren, AWS Glue wurde eine neue AWS Ressource eingeführt — der Verbindungstyp. Die folgenden Operationen können verwendet werden, um die Konnektivität zu REST-API-basierten Datenquellen zu verwalten:

  • RegisterConnectionType- Registriert einen Verbindungstyp auf der AWS Glue Grundlage der bereitgestellten Konfiguration. Informationen zur Struktur der Anfrage finden Sie unter RegisterConnectionType.

  • DeleteConnectionType— Löscht eine Verbindungstyp-Konfiguration in AWS Glue. Siehe DeleteConnectionType.

  • DescribeConnectionType- Gibt vollständige Informationen zu den unterstützten Optionen für einen bestimmten Verbindungstyp in zurück AWS Glue. Siehe DescribeConnectionType.

  • ListConnectionTypes- Gibt eine Liste der Verbindungstypen mit detaillierten Informationen darüber zurück, was für die einzelnen AWS Glue Verbindungstypen unterstützt wird. Siehe ListConnectionTypes.

Erstellen eines REST-Verbindungstyps in AWS Glue

Um einen REST-Verbindungstyp zu erstellen, verwenden Sie das AWS SDK oder die AWS API AWS CLI, um die RegisterConnectionType API aufzurufen. Die Konfigurationsdetails werden auf der Grundlage der REST-API bereitgestellt, mit der eine Verbindung hergestellt wird.

Anmerkung

REST-Verbindungen können nicht mit der AWS Glue Konsole erstellt werden

Voraussetzung

Bevor Sie versuchen, Ihren AWS Glue REST-API-Connector zu konfigurieren, müssen Sie sich mit der internen Funktionsweise der REST-API vertraut machen. Es ist hilfreich, wenn Sie über die REST-API-Dokumentation für die Datenquelle und ein Tool zur Überprüfung der Anforderungs-/Antwortstruktur verfügen.

Die folgenden Eigenschaften der REST-API sollten identifiziert werden:

  • Authentifizierungsmechanismus, der für Aufrufe an den REST-Endpunkt verwendet wird. AWS Glue REST-API-Konnektoren unterstützen: Standardauthentifizierung, OAuth2 - ClientCredentials, OAuth2 - Autorisierungscode, OAuth2 - JWT und benutzerdefinierte Authentifizierung.

  • Entitäten (Datenobjekte), die Sie über den REST-Endpunkt übertragen können, und zugehörige Metadaten (wie Feldnamen und Datentypen).

  • Die HTTP-Anfrage- und Antwortstruktur. Diese Struktur umfasst die HTTP-Methode, die Endpunkt-URL, Header, Abfrageparameter und das Format des Anfragetexts und der Antwortnutzdaten.

  • Das Paginierungsschema. AWS Glue REST-API-Konnektoren unterstützen zwei Paginierungsschemata: cursor-based und offset-based Paginierung.

RegisterConnectionType

Registriert einen ConnectionType Eingang auf AWS Glue der Grundlage der angegebenen Konfiguration. Die ConnectionType Ressource ist eine neue AWS Glue Ressource, die Details darüber speichert, wie Anfragen und Antworten von der Datenquelle interpretiert werden. Heute wird nur das REST-Protokoll unterstützt. Es enthält Details zur REST-API-Quelle wie:

  • Verbindungseigenschaften — Definiert die Verbindung BaseUrl zur REST-API und alle zusätzlichen Anforderungsparameter, die für die Eingabe während dieser Zeit erforderlich sind. AWS Glue CreateConnection

  • Authentifizierungskonfiguration — Definiert, wie Anfragen an die REST-API authentifiziert werden. Diese Konfiguration wird verwendet, wenn eine AWS Glue Verbindung für den Verbindungstyp erstellt wird.

  • REST-Konfiguration — Definiert die HTTP-Anfrage- und Antwortkonfiguration zum Lesen von Daten aus der REST-API-Quelle. Die folgenden Eigenschaften müssen entweder auf globaler Ebene oder auf Entitätsebene konfiguriert werden:

    • Anforderungsmethode — Definiert die REST-HTTP-Methode.

    • Antwortkonfiguration — Definiert, wie die API-Antwort interpretiert werden soll (einschließlich Datensätze oder Fehlerpositionen im Hauptteil).

    • Paginierungskonfiguration — Definiert die Strategie, die die REST-API für die Paginierung der resultierenden Datensätze verwendet, und definiert, wie die Paginierungseigenschaften gesendet/abgerufen werden sollen.

    • Konfiguration des Validierungsendpunkts — Definiert den Endpunkt, der aufgerufen werden soll, um eine Verbindung zu validieren. AWS Glue

    • Entitätskonfigurationen — Definiert die REST-Entitäten, die der Connector unterstützt, und ihr Schema.

RegisterConnectionType Syntax der Anfrage

Siehe RegisterConnectionType

Sobald ein REST-API-Verbindungstyp registriert wurde, kann er zum Erstellen von Verbindungen zur konfigurierten Datenquelle verwendet werden. Ausführliche Anweisungen finden Sie unter Verbindung APIs zu REST herstellen.