Schnellstart: Abfragen von Daten in Amazon S3

Konfigurieren eines Speicherorts von

1. Gehen Sie zur Athena-Konsole:. https://console.aws.amazon.com/athena/

2. Wählen Sie im linken Menü Arbeitsgruppen aus.

3. Folgen Sie dem Link für die primary Arbeitsgruppe und wählen Sie Bearbeiten.

4. Geben Sie im Abschnitt Konfiguration der Abfrageergebnisse den Amazon-S3-Pfad für Ihr Ausgabeverzeichnis ein und wählen Sie dann Änderungen speichern aus.

Erstellen Sie eine Athena-Datenquelle für Ihre Amazon-S3-Daten

1. Wählen Sie im linken Menü der Athena-Konsole Datenquellen und dann Datenquelle erstellen aus.

2. Wählen Sie S3 — AWS Glue Datenkatalog und dann Weiter.

3. Behalten Sie den AWS Glue Standarddatenkatalog in diesem Konto bei, wählen Sie Create a Crawler in AWS Glue und dann Create in AWS Glue. Dadurch wird die AWS Glue Konsole geöffnet.

Wird verwendet AWS Glue , um Ihre Datenquelle zu crawlen

1. Geben Sie einen Namen und eine Beschreibung für den Crawler ein und wählen Sie dann Weiter aus.

2. Wählen Sie für Datenquellen Datenquelle hinzufügen aus.

   1. Wenn sich der Amazon Amazon S3-Bucket, der Ihre Daten enthält, in einem anderen AWS Konto als Ihre SageMaker KI-Umgebung befindet, wählen Sie In einem anderen Konto als Speicherort der S3-Daten aus.

   2. Geben Sie den Pfad zu Ihrem Datensatz in Amazon S3 ein. Beispiel:

      s3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/

   3. Behalten Sie alle anderen Standardwerte bei und wählen Sie dann Add an Amazon S3 data source (Amazon-S3-Datenquelle hinzufügen) aus. Sie sollten nun eine neue Amazon-S3-Datenquelle in der Tabelle „Datenquellen“ sehen.

   4. Wählen Sie Weiter aus.

3. Konfigurieren Sie die IAM-Rolle, damit der Crawler auf Ihre Daten zugreifen kann.

   Anmerkung

   Jede Rolle ist auf die von Ihnen angegebene Datenquelle beschränkt. Wenn Sie eine Rolle wiederverwenden, bearbeiten Sie die JSON-Richtlinie, um jede neue Ressource hinzuzufügen, auf die Sie Zugriff gewähren möchten, oder erstellen Sie eine neue Rolle für diese Datenquelle.

   1. Klicken Sie auf Neue IAM-Rolle erstellen.

   2. Geben Sie einen Namen für die Rolle ein und wählen Sie dann Weiter aus.

Erstellen Sie eine Datenbank für Ihre Tabellen oder wählen Sie sie aus

1. Wenn Sie noch keine Datenbank in Athena haben, wählen Sie Datenbank hinzufügen und dann Neue Datenbank erstellen.

2. Kehren Sie zur vorherigen Registerkarte für die Crawler-Erstellung zurück und wählen Sie in der Ausgabekonfiguration die Schaltfläche Aktualisieren. Ihre neu erstellte Datenbank sollte jetzt in der Liste angezeigt werden.

3. Wählen Sie Ihre Datenbank aus, fügen Sie unter Tabellennamenpräfix ein optionales Präfix hinzu und wählen Sie dann Weiter.

   Anmerkung

   Für das vorherige Beispiel, in dem sich Ihre Daten befindens3://dsoaws/nyc-taxi-orig-cleaned-split-parquet-per-year-multiple-files/ride-info/year=2019/, taxi-ride- wird durch Hinzufügen des Präfixes eine Tabelle mit dem Namen erstellttaxi-ride-year_2019. Durch das Hinzufügen eines Präfixes können Kollisionen bei Tabellennamen vermieden werden, wenn mehrere Datenspeicherorte Ordner mit identischen Namen haben.

Wählen Sie Crawler erstellen aus.

Führen Sie Ihren Crawler aus, um Ihre Daten zu indizieren. Warten Sie, bis der Crawler-Lauf einen Completed-Status erreicht hat. Dies kann einige Minuten dauern.

Den ARN der Ausführungsrolle abrufen, die Ihrem Benutzerprofil zugeordnet ist

1. Gehen Sie zur SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/ und wählen Sie im linken Menü Domains aus.

2. Folgen Sie dem Namen für Ihren Domain-Namen.

3. Folgen Sie in der Liste Benutzerprofile dem Namen für Ihr Benutzerprofil.

4. Kopieren Sie auf der Seite mit den Benutzerdetails den ARN der Ausführungsrolle.

Aktualisieren der Richtlinie der Ausführungsrolle

1. Suchen Sie oben rechts in der SageMaker AI-Konsole nach Ihrer AWS Region und Konto-ID. Verwenden Sie diese Werte und Ihren Datenbanknamen, um die Platzhalter in der folgenden JSON-Richtlinie in einem Texteditor zu aktualisieren.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "GetS3AndDataSourcesMetadata",
               "Effect": "Allow",
               "Action": [
                   "glue:GetDatabases",
                   "glue:GetSchema",
                   "glue:GetTables",
                   "s3:ListBucket",
                   "s3:GetObject",
                   "s3:GetBucketLocation",
                   "glue:GetDatabase",
                   "glue:GetTable",
                   "glue:ListSchemas",
                   "glue:GetPartitions"
               ],
               "Resource": [
                   "arn:aws:s3:::*",
                   "arn:aws:glue:us-east-1:111122223333:catalog",
                   "arn:aws:glue:us-east-1:111122223333:database/db-name"
               ]
           },
           {
               "Sid": "ExecuteAthenaQueries",
               "Effect": "Allow",
               "Action": [
                   "athena:ListDataCatalogs",
                   "athena:ListDatabases",
                   "athena:ListTableMetadata",
                   "athena:StartQueryExecution",
                   "athena:GetQueryExecution",
                   "athena:RunQuery",
                   "athena:StartSession",
                   "athena:GetQueryResults",
                   "athena:ListWorkGroups",
                   "s3:ListMultipartUploadParts",
                   "s3:ListBucket",
                   "s3:GetBucketLocation",
                   "athena:GetDataCatalog",
                   "s3:AbortMultipartUpload",
                   "s3:GetObject",
                   "s3:PutObject",
                   "athena:GetWorkGroup"
               ],
               "Resource": [
                   "arn:aws:s3:::*"
               ]
           },
           {
               "Sid": "GetGlueConnectionsAndSecrets",
               "Effect": "Allow",
               "Action": [
                   "glue:GetConnections",
                   "glue:GetConnection"
               ],
               "Resource": [
                   "*"
               ]
           }
       ]
   }
   

2. Gehen Sie zur IAM-Konsole: https://console.aws.amazon.com/iam/ und wählen Sie im linken Menü Rollen aus.

3. Suchen Sie anhand des Rollennamens nach Ihrer Rolle.

   Anmerkung

   Sie können den Namen einer Ausführungsrolle aus ihrem Amazon-Ressourcennamen (ARN) abrufen, indem Sie den ARN aufteilen '/' und das letzte Element verwenden. Im folgenden Beispiel für einen ARN arn:aws:iam::112233445566:role/SageMakerStudio-SQLExtension-ExecutionRole lautet der Name der Ausführungsrolle beispielsweise SageMakerStudio-SQLExtension-ExecutionRole.

4. Folgen Sie dem Link für Ihre Rolle.

5. Wählen Sie auf der Registerkarte Berechtigungen die Optionen Berechtigungen hinzufügen und dann Inline-Richtlinie erstellen aus.

6. Wählen Sie das JSON-Format im Abschnitt Richtlinieneditor aus.

7. Kopieren Sie die obige Richtlinie und wählen Sie dann Weiter. Stellen Sie sicher, dass Sie alle account-idregion-name, und db-name durch ihre Werte ersetzt haben.

8. Geben Sie einen Namen für Ihre Richtlinie ein und wählen Sie Richtlinie erstellen aus.

Gehen Sie zur SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/ und wählen Sie im linken Menü Studio. Verwenden Sie Ihre Domain und Ihr Benutzerprofil, und starten Sie Studio.

Wählen Sie die JupyterLab Anwendung aus.

Wenn Sie keinen Bereich für Ihre JupyterLab Anwendung erstellt haben, wählen Sie JupyterLab Bereich erstellen. Geben Sie einen Namen für den Bereich ein, behalten Sie den Status Privat für den Bereich bei und wählen Sie dann Bereich erstellen. Führen Sie Ihren Space mit der neuesten Version des SageMaker AI Distribution-Images aus.

Wählen Sie andernfalls die Option „Speicherplatz auf Ihrem Speicherplatz ausführen“, um eine JupyterLab Anwendung zu starten.

Aktivieren Sie die Athena-Standardverbindung:

1. Navigieren Sie in Ihrer JupyterLab Anwendung zum Einstellungsmenü in der oberen Navigationsleiste und öffnen Sie das Menü des Einstellungseditors.

2. Wählen Sie Data Discovery.

3. Markieren Sie das Kästchen für Standard-Athena-Verbindung aktivieren.

4. Wählen Sie in Ihrer JupyterLab Anwendung im linken Navigationsbereich das SQL-Erweiterungssymbol ( ), um die SQL-Erweiterung zu öffnen.

5. Wählen Sie am unteren Rand des Datenerkennungsfensters die Schaltfläche Aktualisieren default-athena-connectionIn der Liste der Verbindungen sollte ein angezeigt werden.

Öffnen Sie die Verbindung default-athena-connection und dann AWS DataCatalog.

Navigieren Sie zu Ihrer Datenbank und wählen Sie das Symbol mit den drei Punkten ( ) auf der rechten Seite. Wählen Sie Abfrage im Notebook aus.

Dadurch wird automatisch ein Notizbuchfeld JupyterLab mit dem entsprechenden %%sm_sql magischen Befehl gefüllt, um eine Verbindung zur Datenquelle herzustellen. Außerdem wird eine Beispiel-SQL-Anweisung hinzugefügt, damit Sie sofort mit der Abfrage beginnen können.

Sie können die SQL-Abfrage mithilfe der Funktionen zur automatischen Vervollständigung und Hervorhebung der Erweiterung weiter verfeinern. Weitere Informationen zur Verwendung des SQL-Editors der SQL-Erweiterung finden Sie unter Funktionen des SQL-Editors der JupyterLab SQL-Erweiterung.