Einheitliche Verbindungen - AWS Glue
Unterstützte AuthentifizierungsmethodenÜberlegungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Einheitliche Verbindungen

AWS hat kürzlich eine neue Funktion namens „SageMaker LakeHouse Connections“ oder „AWS Glue Unified Connections“ eingeführt. Mit dieser Funktion können Sie Verbindungen erstellen, die von mehreren AWS Diensten wie AWS Glue und verwendet werden können Amazon Athena. Wenn Sie eine Datenquelle in erstellen Amazon Athena, werden Sie einen Abschnitt sehen, der sich auf AWS Glue Verbindungseingaben bezieht. In diesem Fall Amazon Athena wird eine AWS Glue Verbindung für Sie erstellt, einschließlich aller Amazon Athena-spezifischen Eigenschaften im Abschnitt AthenaProperties `` der Verbindung.

Wenn Sie dagegen direkt in eine Verbindung herstellen, werden Sie nur aufgefordert AWS Glue, spezifische Eigenschaften für Apache Spark einzugeben, die in den Abschnitten `` und ConnectionProperties `SparkProperties` der Verbindung gespeichert werden. AWS Glue

Beide Szenarien führen zur Erstellung einer „einheitlichen Verbindung“, aber die in erstellten Verbindungen Amazon Athena sind nur für die Verwendung innerhalb konfiguriert Amazon Athena, während die in erstellten Verbindungen nur für die Verwendung innerhalb konfiguriert AWS Glue sind AWS Glue. Es ist jedoch möglich, diese Verbindungen mit den fehlenden Eigenschaften (entweder Amazon Athena oder Spark-Eigenschaften) zu aktualisieren, sodass sie von beiden Diensten verwendet werden können. Amazon SageMaker AI Unified Studio kümmert sich automatisch darum, indem es alle erforderlichen Eigenschaften (``, ConnectionProperties `` und AthenaProperties `SparkProperties`) für die AWS Glue Verbindung ausfüllt AWS Glue und so sicherstellt, dass die Verbindung sowohl von als auch verwendet werden kann Amazon Athena.

Es ist wichtig zu beachten, dass wir diese Verbindungen zwar als „einheitliche Verbindungen“ bezeichnen, die in AWS Glue oder Amazon Athena einzeln erstellten Verbindungen jedoch nicht wirklich vereinheitlicht sind, es sei denn, sie sind ordnungsgemäß für die Verwendung durch beide Dienste konfiguriert. Nur die mit SageMaker Unified Studio erstellten Verbindungen sind wirklich vereinheitlicht und können sofort von mehreren Diensten verwendet werden.

Darüber hinaus AWS Glue sind Verbindungen, die in erstellt wurden, nicht sichtbar, Amazon Athena da Datenquellen Amazon Athena angezeigt werden, die zwar einen Verweis auf eine AWS Glue Verbindung enthalten, aber nicht die AWS Glue Verbindung selbst sind. Ebenso Amazon Athena sind Verbindungen, die in erstellt wurden, nicht sichtbar, AWS Glue Studio da alle Verbindungen AWS Glue Studio herausgefiltert werden, für die nicht die erforderlichen Einstellungen konfiguriert wurden AWS Glue.

AWS Glue Studio erstellt standardmäßig einheitliche Verbindungen. In der AWS Glue Konsole können Sie die Version der Verbindung in der Verbindungstabelle auf der Verbindungsseite, auf der Verbindungsdetailseite und in der Verbindungstabelle auf der Jobdetailseite sehen.

Die Verbindungsversion wird unter Verbindungsdetails angezeigt:

Der Screenshot zeigt die Verbindungsdetails der v2-Verbindung an.

Die Verbindungsversion wird auch angezeigt, wenn Sie alle Verbindungen anzeigen.

Der Screenshot zeigt die Verbindungsdetails der v2-Verbindung an.

Schließlich wird die Verbindungsversion auf der Registerkarte „Auftragsdetails“ für einen Auftrag angezeigt.

Der Screenshot zeigt die Verbindungsdetails der v2-Verbindung an.

Bei Verbindungen der Version 2 stehen Ihnen die folgenden erweiterten Datenkonnektivitätsfunktionen zur Verfügung:

  • Erkennung von Verbindungstypen: Support für das Erstellen von Verbindungen mithilfe standardisierter Vorlagen. AWS Glue erkennt automatisch die Verbindungstypen, auf die Sie zugreifen können, sowie die erforderlichen und optionalen Eingaben für einen bestimmten Verbindungstyp.

  • Wiederverwendbarkeit: Verbindungsdefinitionen, die in allen AWS Datenverarbeitungsmodulen und Tools wie AWS Glue Amazon Athena, und wiederverwendet werden können. Amazon SageMaker AI Verbindungen enthalten jetzt AthenaProperties, SparkProperties, mit PythonProperties denen zusätzlich zu den allgemeinen Eigenschaften, die in ConnectionProperties gespeichert sind, environment/service berechnungsspezifische Verbindungseigenschaften angegeben werden können. Athena erstellt jetzt Verbindungen, AWS Glue indem sie Athena-spezifische Eigenschaften in der AthenaProperties Eigenschaftenübersicht angibt.

  • Datenvorschau: Möglichkeit, Metadaten zu durchsuchen und eine Vorschau von Daten aus verbundenen Quellen anzuzeigen.

  • Connector-Metadaten: Wiederverwendbare Verbindungen können verwendet werden, um Tabellenmetadaten zu ermitteln.

  • Mit dem Dienst verknüpfte Geheimnisse: Benutzer können in der Anfrage die erforderlichen OAuth, grundlegenden oder benutzerdefinierten Authentifizierungsdaten angeben. CreateConnection Die CreateConnection API erstellt ein Service Linked Secret in Ihrem Konto und speichert die Anmeldeinformationen in Ihrem Namen.

Unterstützte Authentifizierungsmethoden

Für einheitliche Verbindungen werden die folgenden Authentifizierungstypen unterstützt:

  • BASIC — Die meisten Datenbankverbindungstypen und vorhandenen AWS Glue Verbindungstypen unterstützen die Standardauthentifizierung, bei der es sich um einen Benutzernamen und ein Passwort handelt. Bisher war die Benennung der Schlüssel konnektorspezifisch und könnte beispielsweise user, username, userName, opensearch.net.http.auth.user usw. lauten. SecretsManager Hier wurden durch einheitliche Verbindungen die grundlegenden Verbindungsarten für die Authentifizierung anhand der Schlüssel USERNAME und PASSWORD standardisiert.

  • OAUTH2— Die meisten neu eingeführten SaaS-Verbindungstypen unterstützen OAuth2 das Protokoll.

  • BENUTZERDEFINIERT — Einige Verbindungstypen verfügen über einen anderen Authentifizierungsmechanismus wie Google, BigQuery bei dem von Benutzern erwartet wird, dass sie das von Google erhaltene JSON angeben BigQuery.

Überlegungen

Wenn Sie eine einheitliche Verbindung für Datenquellen erstellen, sollten Sie die folgenden Unterschiede berücksichtigen:

  • Beim Herstellen einer einheitlichen Verbindung über AWS Glue Studio werden Benutzeranmeldedaten AWS Secrets Manager nicht in der Verbindung selbst gespeichert. Das bedeutet, dass Aufträge jetzt Zugriff auf Secrets Manager benötigen.

  • Wenn Aufträge in einer VPC ausgeführt werden, benötigen sie entweder einen VPC-Endpunkt oder ein NAT-Gateway, um auf AWS Secrets Manager und den Secure Token Service (STS) zuzugreifen, was zusätzliche Kosten verursacht.

  • Für bestimmte Datenquellen (Redshift, SQL Server, MySQL, Oracle, PostgreSQL) AWS Glue Studio erfordert die Erstellung einer einheitlichen Verbindung über Zugriff auf und. AWS STS AWS Secrets Manager Dies ist erforderlich, um eine sichere Verbindung herzustellen und die erforderlichen Anmeldeinformationen für den Zugriff auf diese Datenquellen innerhalb Ihrer Virtual Private Cloud (VPC) abzurufen.

  • Für die Erstellung einer einheitlichen Verbindung ist eine IAM-Rolle mit Berechtigungen für den Zugriff auf AWS Secrets Manager und die Verwaltung von VPC-Ressourcen AWS Glue Studio erforderlich (falls Sie eine VPC verwenden):

    • Geheimnismanager: GetSecretValue

    • Verwalter von Geheimnissen: PutSecretValue

    • Verwalter von Geheimnissen: DescribeSecret

    • ec2: CreateNetworkInterface

    • ec2: DeleteNetworkInterface

    • ec2: DescribeNetworkInterfaces

    • ec2: DescribeSubnets