Accesso alle tabelle Amazon S3 utilizzando l’endpoint AWS Glue Iceberg REST - Amazon Simple Storage Service
Creazione di un ruolo IAM per il clientDefinizione dell’accesso in Lake FormationConfigurazione dell’ambiente per l’utilizzo dell’endpoint

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Accesso alle tabelle Amazon S3 utilizzando l’endpoint AWS Glue Iceberg REST

Una volta integrati i bucket di tabelle S3 con l'endpoint, AWS Glue Data Catalog puoi utilizzare l' AWS GlueIceberg RESTendpoint per connetterti alle tabelle S3 da Apache Iceberg client compatibili, come o. PyIceberg Spark L' AWS Glue Iceberg RESTendpoint implementa la specifica Iceberg REST Catalog Open API che fornisce un'interfaccia standardizzata per interagire con le tabelle. Iceberg Per accedere alle tabelle S3 utilizzando l'endpoint è necessario configurare le autorizzazioni tramite una combinazione di policy e concessioni IAM. AWS Lake Formation Le sezioni seguenti spiegano come configurare l’accesso, inclusa la creazione del ruolo IAM necessario, la definizione delle policy richieste e la definizione delle autorizzazioni di Lake Formation per l’accesso sia a livello di database sia a livello di tabella.

Per una procedura dettagliata sull’utilizzo di PyIceberg, consulta Accesso ai dati in Tabelle Amazon S3 utilizzando PyIceberg tramite l’endpoint AWS Glue Iceberg REST.

Prerequisiti

Creazione di un ruolo IAM per il client

Per accedere alle tabelle tramite gli AWS Glue endpoint, devi creare un ruolo IAM con autorizzazioni AWS Glue e azioni Lake Formation. Questa procedura spiega come creare questo ruolo e configurarne le autorizzazioni.

  1. Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

  2. Nel riquadro di navigazione sinistro, scegli Policy.

  3. Scegli Crea una policy e scegliere JSON nell'editor delle policy.

  4. Aggiungi la seguente politica in linea che concede le autorizzazioni all'accesso e alle azioni di Lake AWS Glue Formation:

    JSON
    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "glue:GetCatalog",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetTable",
                "glue:GetTables",
                "glue:CreateTable",
                "glue:UpdateTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog",
                "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/amzn-s3-demo-table-bucket",
                "arn:aws:glue:us-east-1:111122223333:table/s3tablescatalog/amzn-s3-demo-table-bucket/<namespace>/*",
                "arn:aws:glue:us-east-1:111122223333:database/s3tablescatalog/amzn-s3-demo-table-bucket/<namespace>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

  5. Dopo aver creato la policy, crea un ruolo IAM e scegli Policy di attendibilità personalizzata per Tipo di entità attendibile.

  6. Inserisci quanto segue per la Policy di attendibilità personalizzata.

    JSON
    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111122223333:role/Admin_role"
            },
            "Action": "sts:AssumeRole",
            "Condition": {}
        }
    ]
}

Definizione dell’accesso in Lake Formation

Lake Formation fornisce un controllo granulare degli accessi per le tabelle del data lake. Quando hai integrato il tuo bucket S3 con AWS Glue Data Catalog, le tue tabelle venivano automaticamente registrate come risorse in Lake Formation. Per accedere a queste tabelle, è necessario fornire autorizzazioni specifiche di Lake Formation all’identità IAM, oltre alle autorizzazioni relative alle relative policy IAM.

Le seguenti fasi spiegano come applicare i controlli degli accessi di Lake Formation per consentire al client Iceberg di connettersi alle tabelle. È necessario accedere come amministratore del data lake per applicare queste autorizzazioni.

Consenso per l’accesso ai dati delle tabelle dai motori esterni

In Lake Formation, è necessario abilitare l’accesso completo alle tabelle per consentire ai motori esterni di accedere ai dati. Ciò consente alle applicazioni di terze parti di ottenere credenziali temporanee da Lake Formation quando utilizzano un ruolo IAM con autorizzazioni complete sulla tabella richiesta.

Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/.

  1. Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/e accedi come amministratore del data lake.

  2. Nel riquadro di navigazione, scegliere Impostazioni di integrazione di applicazioni in Amministrazione.

  3. Selezionare Consenti ai motori esterni di accedere ai dati nelle posizioni Amazon S3 con accesso completo alla tabella. Quindi scegli Save (Salva).

Concedere le autorizzazioni di Lake Formation sulle risorse delle tabelle

Successivamente, si forniscono a Lake Formation le autorizzazioni per il ruolo IAM creato per il client compatibile con Iceberg. Queste autorizzazioni consentono al ruolo di creare e gestire tabelle nel namespace. È necessario fornire sia le autorizzazioni a livello di database sia a livello di tabella. Per ulteriori informazioni, consulta Concessione dell’autorizzazione Lake Formation per una tabella o un database.

Configurazione dell’ambiente per l’utilizzo dell’endpoint

Dopo aver configurato il ruolo IAM con le autorizzazioni necessarie per l'accesso alla tabella, puoi utilizzarlo per eseguire Iceberg i client dal tuo computer locale configurandolo AWS CLI con il tuo ruolo, utilizzando il seguente comando:

aws sts assume-role --role-arn "arn:aws:iam::<accountid>:role/<glue-irc-role>" --role-session-name <glue-irc-role>

Per accedere alle tabelle tramite l' AWS Glue RESTendpoint, devi inizializzare un catalogo nel tuo client compatibile. Iceberg Questa inizializzazione richiede la specifica di proprietà personalizzate, tra cui le proprietà sigv4, l’URI dell’endpoint e la posizione del warehouse. Queste proprietà si specificano come segue:

  • Proprietà Sigv4: Sigv4 deve essere abilitato, il nome della firma è glue

  • Posizione del warehouse: è il bucket di tabelle, specificato nel formato <accountid>:s3tablescatalog/<table-bucket-name>

  • URI dell'endpoint: consulta la guida di riferimento sugli endpoint del AWS Glue servizio per l'endpoint specifico della regione

L’esempio seguente mostra come inizializzare un catalogo pyIceberg.

rest_catalog = load_catalog(
        s3tablescatalog,
**{
"type": "rest",
"warehouse": "<accountid>:s3tablescatalog/<table-bucket-name>",
"uri": "https://glue.<region>.amazonaws.com/iceberg",
"rest.sigv4-enabled": "true",
"rest.signing-name": "glue",
"rest.signing-region": region
        }
)

Per ulteriori informazioni sull’implementazione degli endpoint AWS GlueIceberg REST, consulta Connessione al Catalogo dati utilizzando l’endpoint AWS GlueIceberg REST nella Guida per l’utente di AWS Glue .