Conexiones de la API de REST - AWS Glue
Creación de un tipo de conexión REST en la AWS Glue

Conexiones de la API de REST

Los conectores de la AWS Glue cubren una amplia gama de orígenes de datos, tanto de AWS como externos. Sin embargo, es posible que haya sistemas propietarios o plataformas emergentes que los conectores de la AWS Glue nativos no admitan. El conector REST de la AWS Glue proporciona un mecanismo para configurar un conector personalizado para cualquier origen de datos que tenga una API basada en REST que, a su vez, funcione de la misma manera que los conectores de la AWS Gluecompatibles de forma nativa. Esta capacidad disminuye la necesidad de crear bibliotecas personalizadas o scripts de ETL para acceder a estos orígenes de datos.

Para habilitar el conector de la API de REST, la AWS Glue ha introducido un nuevo recurso de AWS: el tipo de conexión. Se pueden utilizar las siguientes operaciones para administrar la conectividad con los orígenes de datos basados en la API de REST:

  • registerConnectionType: registra un tipo de conexión en la AWS Glue en función de la configuración proporcionada. Para ver la estructura de la solicitud, consulte RegisterConnectionType.

  • DeleteConnectionType: elimina una configuración de tipo de conexión en la AWS Glue. Consulte DeleteConnectionType.

  • DescribeConnectionType: devuelve todos los detalles de las opciones admitidas para un tipo de conexión determinado en la AWS Glue. Consulte DescribeConnectionType.

  • ListConnectionTypes: devuelve una lista de tipos de conexión con información extremadamente detallada sobre qué se admite en cada tipo de conexión. Consulte ListConnectionTypes.

Creación de un tipo de conexión REST en la AWS Glue

Para crear un tipo de conexión REST, usa la AWS CLI, el AWS SDK o la AWS API para invocar la API RegisterConnectionType. Los detalles de configuración se proporcionan en función de la API de REST a la que se está conectado.

nota

Las conexiones de REST no se pueden crear mediante la consola de AWS Glue

Requisito previo

Antes de intentar configurar el conector de la API de REST de la AWS Glue, se debe estar familiarizado con el funcionamiento interno de la API de REST. Es útil disponer de la documentación de la API de REST para el origen de datos y de una herramienta para inspeccionar la estructura de solicitudes y respuestas.

Deben identificarse las siguientes propiedades de la API de REST:

  • Mecanismo de autenticación utilizado para las llamadas realizadas al punto de conexión REST. AWS Glue Los conectores de la API de REST admiten: autenticación básica, OAuth2: ClientCredentials, OAuth2: código de autorización, OAuth2: JWT y autenticación personalizada.

  • Entidades (objetos de datos) que puede transferir a través del punto de conexión REST y metadatos relacionados (como nombres de campos y tipos de datos).

  • Estructura de la solicitud y la respuesta de HTTP. Esta estructura incluye el método de HTTP, la URL del punto de conexión, los encabezados, los parámetros de consulta y el formato del cuerpo de la solicitud y de la carga útil de la respuesta.

  • El esquema de paginación. AWS Glue Los conectores de la API de REST admiten dos esquemas de paginación: paginación cursor-based y offset-based.

RegisterConnectionType

Registra un ConnectionType en la AWS Glue en función de la configuración proporcionada. El recurso ConnectionType es un recurso nuevo de la AWS Glue que almacena detalles sobre cómo interpreta el origen de datos las solicitudes y las respuestas. En la actualidad, solo se admite el protocolo REST. Encapsula información sobre el origen de la API de REST, como:

  • Propiedades de conexión: define BaseUrl para conectarse a la API de REST y cualquier parámetro de solicitud adicional necesario para recibir información durante CreateConnection de la AWS Glue.

  • Configuración de autenticación: define cómo se autentican las solicitudes a la API de REST. Esta configuración se usa al crear una conexión de la AWS Glue para el tipo de conexión.

  • Configuración de REST: define la configuración de solicitud y respuesta HTTP para leer los datos del origen de la API de REST. Las siguientes propiedades deben configurarse a nivel global o de entidad:

    • Método de solicitud: define el método de solicitud HTTP de REST.

    • Configuración de la respuesta: define cómo debe interpretarse la respuesta de la API (incluidas las ubicaciones de los registros o de los errores en el cuerpo).

    • Configuración de paginación: define la estrategia que utiliza la API de REST para paginar los registros resultantes y cómo se enviarán o recuperarán las propiedades de paginación.

    • Configuración del punto de conexión de validación: define el punto de conexión al que se debe llamar para validar una conexión de la AWS Glue.

    • Configuraciones de entidades: define las entidades de REST que admite el conector y su esquema.

Sintaxis de la solicitud de RegisterConnectionType

Consulte RegisterConnectionType

Una vez registrado un tipo de conexión de la API de REST, está listo para usarse a fin de crear conexiones al origen de datos configurado. Consulte Conexión a las API de REST para obtener instrucciones en detalle.