Federazione dei cataloghi ai cataloghi Iceberg remoti - AWS Lake Formation

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Federazione dei cataloghi ai cataloghi Iceberg remoti

La federazione dei cataloghi AWS Glue fornisce un accesso diretto e sicuro alle tabelle Iceberg, archiviate in Amazon S3 e catalogate in cataloghi remoti, utilizzando motori di analisi. AWS La federazione dei cataloghi sincronizza i metadati tra Data Catalog e cataloghi remoti quando accedi a tabelle remote. È supportato da un'ampia varietà di motori di analisi, tra cui Amazon Redshift, Amazon EMR, Amazon Athena e motori di terze parti come Apache Spark e altri. AWS Glue

La federazione dei AWS Glue Data Catalog cataloghi comunica con i sistemi di catalogo remoti per scoprire le tabelle e Lake Formation per autorizzare l'accesso ai dati delle tabelle in Amazon S3. Quando esegui una query su una tabella federata, Data Catalog rileva le informazioni più recenti sulla tabella nel catalogo remoto al momento della query, ottenendo la posizione della tabella in Amazon S3, lo schema corrente e le informazioni sulla partizione. Il tuo motore di analisi (Amazon Athena, Amazon Redshift, Amazon EMR) utilizza quindi queste informazioni per accedere ai file di dati Iceberg direttamente da Amazon S3. Lake Formation gestisce l'accesso alle tabelle distribuendo credenziali mirate ai dati della tabella archiviati in Amazon S3, permettendo ai motori di applicare autorizzazioni granulari alle tabelle federate.

Caratteristiche di Catalog Federation

Governato utilizzando Lake Formation

I cataloghi Federated Iceberg in Data Catalog sono risorse registrate da Lake Formation, che consentono di concedere autorizzazioni granulari a livello di riga, colonna e cella alle tabelle Iceberg nei cataloghi Iceberg federati utilizzando le sovvenzioni Lake Formation. I cataloghi Federated Iceberg e gli oggetti associati possono essere condivisi in modo sicuro tra gli account. AWS I cataloghi Federated Iceberg funzionano anche con il controllo degli accessi basato su Lake Formation Tag, che consente di scalare la governance utilizzando i tag.

Configurazioni di rete

La federazione dei cataloghi supporta connessioni dirette a sorgenti di cataloghi remote utilizzando la connettività HTTPS standard. Supporta anche la connettività tramite Amazon VPC quando si desidera mantenere l'isolamento della rete e la connettività utilizzando il supporto proxy quando si desidera una comunicazione sicura attraverso i firewall dell'organizzazione.