Federación de catálogos a catálogos remotos de Iceberg - AWS Lake Formation

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Federación de catálogos a catálogos remotos de Iceberg

La federación de catálogos AWS Glue proporciona acceso directo y seguro a las tablas Iceberg, almacenadas en Amazon S3 y catalogadas en catálogos remotos, mediante AWS motores de análisis. La federación de catálogos sincroniza los metadatos entre el catálogo de datos y los catálogos remotos al acceder a las tablas remotas. Es compatible con una amplia variedad de motores de análisis, incluidos Amazon Redshift, Amazon EMR, Amazon Athena y motores de terceros como Apache Spark AWS Glue, entre otros.

La federación de catálogos se utiliza AWS Glue Data Catalog para comunicarse con sistemas de catálogos remotos para descubrir tablas y con Lake Formation para autorizar el acceso a los datos de las tablas en Amazon S3. Al consultar una tabla federada, Data Catalog descubre la información más reciente de la tabla en el catálogo remoto en el momento de la consulta y obtiene la ubicación de la tabla en Amazon S3, el esquema actual y la información de partición. A continuación, su motor de análisis (Amazon Athena, Amazon Redshift, Amazon EMR) utiliza esta información para acceder a los archivos de datos de Iceberg directamente desde Amazon S3. Lake Formation administra el acceso a las tablas mediante el envío de credenciales específicas a los datos de las tablas almacenados en Amazon S3, lo que permite a los motores aplicar permisos detallados a las tablas federadas.

Características de Catalog Federation

Gobernado con Lake Formation

Los catálogos de iceberg federados de Data Catalog son recursos registrados de Lake Formation, lo que le permite conceder permisos detallados a nivel de fila, columna y celda a las tablas de iceberg en los catálogos federados de Iceberg mediante las subvenciones de Lake Formation. Los catálogos federados de Iceberg y los objetos asociados se pueden compartir de forma segura entre cuentas. AWS Los catálogos de Federated Iceberg también funcionan con el control de acceso basado en Lake Formation Tag, lo que le permite escalar la gobernanza mediante etiquetas.

Configuraciones de red

La federación de catálogos admite conexiones directas a fuentes de catálogo remotas mediante la conectividad HTTPS estándar. También admite la conectividad a través de Amazon VPC si desea mantener el aislamiento de la red y la conectividad mediante el soporte de proxy cuando desea una comunicación segura a través de los firewalls de la organización.