View a markdown version of this page

Integration Amazon S3 S3-Tabellen mit AWS Glue Data Catalog und AWS Lake Formation - AWS Lake Formation
So funktioniert die Integration von Data Catalog und Lake Formation

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Integration Amazon S3 S3-Tabellen mit AWS Glue Data Catalog und AWS Lake Formation

Amazon S3 S3-Tabellen bieten S3-Speicher, der speziell für Analyse-Workloads optimiert ist, wodurch die Abfrageleistung verbessert und gleichzeitig die Kosten gesenkt werden. Die Daten in S3 Tables werden in einem neuen Bucket-Typ gespeichert: einem Tabellen-Bucket, der Tabellen als Unterressourcen speichert. S3-Tabellen verfügen über eine integrierte Unterstützung für den Apache Iceberg-Standard, mit dem Sie mithilfe gängiger Abfrage-Engines wie Apache Spark problemlos Tabellendaten in Amazon S3 S3-Tabellen-Buckets abfragen können.

Sie können Amazon S3-Tabellen entweder AWS Glue Data Catalog mithilfe von IAM-Zugriffskontrollen oder mit IAM- und Lake Formation Formation-Zuschüssen integrieren:

  • IAM-Zugriffskontrolle: Verwendet IAM-Richtlinien, um den Zugriff auf S3-Tabellen und den Datenkatalog zu steuern. Bei diesem Ansatz zur Zugriffskontrolle benötigen Sie IAM-Berechtigungen sowohl für S3-Tabellenressourcen als auch für Datenkatalogobjekte, um auf Ressourcen zugreifen zu können.

  • Lake Formation Formation-Zugriffskontrolle: Verwendet zusätzlich zu AWS Glue IAM-Berechtigungen auch AWS Lake Formation Zuschüsse, um den Zugriff auf S3-Tabellen über den Datenkatalog zu steuern. In diesem Modus benötigen Principals IAM-Berechtigungen, um mit dem Datenkatalog zu interagieren, und Lake Formation Formation-Grants bestimmen, auf welche Katalogressourcen (Datenbanken, Tabellen, Spalten, Zeilen) der Principal zugreifen kann. Dieser Modus unterstützt sowohl eine grobe Zugriffskontrolle (Berechtigungen auf Datenbank- und Tabellenebene) als auch eine detaillierte Zugriffskontrolle (Sicherheit auf Spalten- und Zeilenebene). Wenn eine registrierte Rolle konfiguriert und der Verkauf von Anmeldeinformationen aktiviert ist, sind keine IAM-Berechtigungen für S3 Tables für den Principal erforderlich, da Lake Formation Anmeldeinformationen im Namen des Prinzipals verkauft, der die registrierte Rolle verwendet. Die Zugriffskontrolle von Lake Formation unterstützt auch den Verkauf von Anmeldeinformationen für Analyse-Engines von Drittanbietern.

Dieser Abschnitt enthält Anleitungen zur Konfiguration der Integration AWS Lake Formation für die folgenden Szenarien:

Stellen Sie sicher, dass Sie die Schritte unter Integrieren von S3-Tabellen mit AWS Analysediensten befolgen, damit Sie über die entsprechenden Berechtigungen für den Zugriff auf die AWS Glue Data Catalog und Ihre Tabellenressourcen sowie für die Arbeit mit AWS Analysediensten verfügen.

Themen

So funktioniert die Integration von Data Catalog und Lake Formation

Wenn Sie den S3-Tabellenkatalog in den Data Catalog und Lake Formation integrieren, erstellt der AWS Glue Service einen einzelnen Verbundkatalog, der s3tablescatalog im für Sie spezifischen Standarddatenkatalog Ihres AWS-Region Kontos aufgerufen wird. Die Integration ordnet alle Amazon S3 S3-Tabellen-Bucket-Ressourcen in Ihrem Konto und AWS-Region im Verbundkatalog auf folgende Weise zu:

  • Amazon S3 S3-Tabellen-Buckets werden im Datenkatalog zu einem mehrstufigen Katalog.

  • Der zugehörige Amazon S3 S3-Namespace ist als Datenbank im Datenkatalog registriert.

  • Die Amazon S3 S3-Tabellen im Tabellen-Bucket werden zu Tabellen im Datenkatalog.

Zuordnung von Objekten zwischen S3-Tabellen und AWS Glue Data Catalog.

Nach der Integration mit Lake Formation können Sie Apache Iceberg-Tabellen im Tabellen-Buckets-Katalog erstellen und über integrierte AWS Analyse-Engines wie Amazon EMR sowie Analyse-Engines von Drittanbietern darauf zugreifen. Amazon Athena

Wenn Sie Lake Formation auch mit Integration aktivieren, ermöglicht es eine feinkörnige Zugriffskontrolle durch. AWS Lake Formation Dieser Sicherheitsansatz bedeutet, dass Sie Ihrem IAM-Prinzipal zusätzlich zu den AWS Identity and Access Management (IAM-) Berechtigungen Lake Formation Formation-Berechtigungen für Ihre Tabellen gewähren müssen, bevor Sie mit ihnen arbeiten können.

Es gibt zwei Haupttypen von Berechtigungen in AWS Lake Formation:

  • Zugriffsberechtigungen für Metadaten steuern die Fähigkeit, Metadatendatenbanken und Tabellen im Datenkatalog zu erstellen, zu lesen, zu aktualisieren und zu löschen.

  • Die zugrunde liegenden Datenzugriffsberechtigungen steuern die Fähigkeit, Daten zu den zugrunde liegenden Amazon-S3-Speicherorten zu lesen und zu schreiben, auf die die Datenkatalogressourcen verweisen.

Lake Formation verwendet eine Kombination aus seinem eigenen Berechtigungsmodell und dem IAM-Berechtigungsmodell, um den Zugriff auf Data Catalog und zugrunde liegende Daten zu steuern.

  • Damit eine Anfrage für den Zugriff auf Datenkatalogressourcen oder zugrunde liegende Daten erfolgreich ist, muss die Anforderung die Berechtigungsprüfungen sowohl von IAM als auch von Lake Formation bestehen.

  • IAM-Berechtigungen steuern den Zugriff auf die Lake Formation AWS Glue APIs und die Ressourcen, wohingegen Lake Formation Formation-Berechtigungen den Zugriff auf die Datenkatalogressourcen, Amazon S3 S3-Standorte und die zugrunde liegenden Daten steuern.

Lake-Formation-Berechtigungen gelten nur in der Region, in der sie erteilt wurden, und ein Prinzipal muss von einem Data Lake-Administrator oder einem anderen Prinzipal mit den erforderlichen Berechtigungen autorisiert werden, um Lake Formation-Berechtigungen zu erhalten.