Registrare cataloghi di bucket di tabelle S3 e consultare le tabelle di Athena - Amazon Athena
Considerazioni e limitazioniEseguire query su tabelle S3 da Athena Creare tabelle S3 in AthenaRegistrare i cataloghi di bucket di tabelle S3 come origini dati AthenaCTAS per tabelle S3

Registrare cataloghi di bucket di tabelle S3 e consultare le tabelle di Athena

I bucket di tabelle Amazon S3 sono un tipo di bucket in Amazon S3 progettato appositamente per archiviare dati tabulari nelle tabelle Apache Iceberg. I bucket di tabella automatizzano le attività di gestione delle tabelle come la compattazione, la gestione delle istantanee e la rimozione di oggetti inutili per ottimizzare continuamente le prestazioni delle query e ridurre al minimo i costi. Sia per chi è agli inizi sia per chi ha migliaia di tabelle nel proprio ambiente Iceberg, i bucket di tabella semplificano i data lake a qualsiasi dimensione. Per ulteriori informazioni sui bucket, consultare Bucket di tabella.

Considerazioni e limitazioni

  • Tutte le operazioni DDL supportate per le tabelle Iceberg sono supportate anche per le tabelle S3 con le seguenti eccezioni:

    • ALTER TABLE RENAME, CREATE VIEW e ALTER DATABASE non sono supportate.

    • OPTIMIZE e VACUUM: è possibile controllare compattazione e la gestione delle istantanee in S3. Per ulteriori informazioni, consultare Documentazione per la manutenzione di Tabelle S3.

  • Le query DDL sulle tabelle S3 registrate come origini dati Athena non sono supportate.

  • Il riutilizzo dei risultati delle query non è supportato.

  • Nei gruppi di lavoro con SSE-KMS, crittografia CSE-KMS abilitata, non è possibile eseguire operazioni di scrittura comeINSERT, UPDATE, DELETE o MERGE su tabelle S3.

  • Nei gruppi di lavoro con l'opzione S3 Requester Pays abilitata, non è possibile eseguire operazioni DML su tabelle S3.

Eseguire query su tabelle S3 da Athena

Completare questi passaggi preliminari prima di eseguire query su Tabelle S3 in Athena

  1. Creare un bucket per tabelle S3 Per ulteriori informazioni, consultare Creazione di un bucket per tabelle nella Guida per l'utente di Amazon Simple Storage Service.

  2. Assicurarsi che l'integrazione dei bucket di tabelle con AWS Glue Data Catalog e AWS Lake Formation abbia successo seguendo i Prerequisiti per l'integrazione e Integrazione dei bucket di tabelle con i servizi di analisi AWS nella Guida per l'utente di Amazon Simple Storage Service.

    Nota

    Se è stata abilitata l'integrazione durante la creazione di un bucket di tabelle S3 dalla console S3 nel passaggio 1, è possibile saltare questo passaggio.

  3. Per il principale utilizzato per eseguire le query con Athena, concedere le autorizzazioni Lake Formation sul catalogo tabelle S3, tramite la console Lake Formation oppure AWS CLI.

    Console di gestione AWS

    1. Aprire la console AWS Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/ e accedere come amministratore del data lake. Per ulteriori informazioni su come creare un amministratore di data lake, consulta Creare un amministratore di data lake.

    2. Nel riquadro di navigazione scegli Autorizzazioni dati, quindi seleziona Concedi.

    3. Nella pagina Concedi autorizzazioni, in Principali, scegliere il principale che si desidera utilizzare per inviare la query da Athena.

    4. In LF-Tags o risorse del catalogo, scegli Risorse Catalogo dati denominato.

    5. Per Cataloghi, scegli un catalogo di dati di Glue creato dall'integrazione del proprio bucket di tabelle. Ad esempio, <accoundID>:s3tablescatalog/amzn-s3-demo-bucket.

    6. Per le Autorizzazioni del catalogo, scegliere Super.

    7. Scegliere Concedi.

    AWS CLI

    Eseguire il comando seguente con il ruolo di amministratore del data lake di Lake Formation per concedere l'accesso al principale utilizzato per inviare la query da Athena. 

    aws lakeformation grant-permissions \
--region <region (Example,us-east-1)> \
--cli-input-json \
'{
    "Principal": {
        "DataLakePrincipalIdentifier": "<user or role ARN (Example, arn:aws:iam::<Account ID>:role/ExampleRole>"
    },
    "Resource": {
        "Catalog": {
            "Id":"<Account ID>:s3tablescatalog/amzn-s3-demo-bucket"
        }
    },
    "Permissions": ["ALL"]
}'
Inviare query per Tabelle S3

  1. Inviare una query CREATE DATABASE da Athena con l'utente/ruolo di cui sopra. In questo esempio, s3tablescatalog è il Catalogo dati Glue principale creato dall'integrazione e s3tablescatalog/amzn-s3-demo-bucket è il Catalogo dati Glue secondario creato per ogni bucket di tabelle S3. Esistono due modi per eseguire una query.

    Option 1

    Specificare il Catalogo Dati Glue secondario (s3tablescatalog/amzn-s3-demo-bucket) direttamente dalla console o da AWS CLI.

    Using Console di gestione AWS

    1. Aprire la console Athena all'indirizzo https://console.aws.amazon.com/athena/.

    2. Nella barra di navigazione a sinistra, per Nome origine dati, scegliere AWSDataCatalog.

    3. Per Catalogo, scegliere s3tablescatalog/amzn-s3-demo-bucket.

    4. Nell'editor di query, inserire una query come CREATE DATABASE test_namespace.

    Using AWS CLI

    Esegui il comando seguente.

    aws athena start-query-execution \ 
--query-string 'CREATE DATABASE `test_namespace`' \ 
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket"}' \
--work-group "primary"
    Option 2

    Creare il catalogo dati Athena dal Catalogo dati Glue secondario nella console Athena e specificarlo come catalogo nella query. Per ulteriori informazioni, consulta Registrare i cataloghi di bucket di tabelle S3 come origini dati Athena.

  2. Con il database creato nel passaggio precedente, utilizzare CREATE TABLE per creare una tabella. L'esempio seguente crea una tabella nel database test_namespace creato in precedenza nel catalogo Glue s3tablescatalog/amzn-s3-demo-bucket.

    Console di gestione AWS

    1. Nella barra di navigazione a sinistra, per Nome origine dati, scegliere AWSDataCatalog.

    2. Per Catalogo, scegliere s3tablescatalog/amzn-s3-demo-bucket.

    3. Per Database, scegliere test_namespace.

    4. Nell'editor di query, eseguire la seguente query.

      CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')
    AWS CLI

    Esegui il comando seguente.

    aws athena start-query-execution \
--query-string "CREATE TABLE daily_sales (
        sale_date date,
        product_category
        string, sales_amount double)
PARTITIONED BY (month(sale_date))
TBLPROPERTIES ('table_type' = 'iceberg')" \
--query-execution-context '{"Catalog": "s3tablescatalog/amzn-s3-demo-bucket", "Database":"test_namespace"}' \
--work-group "primary"

  3. Inserire i dati nella tabella creata nel passaggio precedente.

    Console di gestione AWS

    1. Nella barra di navigazione a sinistra, per Nome origine dati, scegliere AWSDataCatalog.

    2. Per Catalogo, scegliere s3tablescatalog/amzn-s3-demo-bucket.

    3. Per Database, scegliere test_namespace.

    4. Nell'editor di query, eseguire la seguente query.

      INSERT INTO daily_sales
VALUES 
    (DATE '2024-01-15', 'Laptop', 900.00),
    (DATE '2024-01-15', 'Monitor', 250.00),
    (DATE '2024-01-16', 'Laptop', 1350.00),
    (DATE '2024-02-01', 'Monitor', 300.00);
    AWS CLI

    Eseguire il seguente comando.

    aws athena start-query-execution \
--query-string "INSERT INTO \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
VALUES 
(DATE '2024-01-15', 'Laptop', 900.00),
(DATE '2024-01-15', 'Monitor', 250.00),
(DATE '2024-01-16', 'Laptop', 1350.00),
(DATE '2024-02-01', 'Monitor', 300.00)"\ 
--work-group "primary"

  4. Dopo aver inserito i dati nella tabella, è possibile eseguirci una query.

    Console di gestione AWS

    1. Nella barra di navigazione a sinistra, per Nome origine dati, scegliere AWSDataCatalog.

    2. Per Catalog, scegliere s3tablescatalog/amzn-s3-demo-bucket.

    3. Per Database, scegli test_namespace.

    4. Nell'editor di query, eseguire la seguente query.

      SELECT
    product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM
    daily_sales
WHERE
    sale_date BETWEEN DATE '2024-02-01' 
                 AND DATE '2024-02-29'
GROUP BY
    product_category
ORDER BY
    total_revenue DESC
    AWS CLI

    Eseguire il seguente comando seguente.

    aws athena start-query-execution \
--query-string "SELECT product_category,
    COUNT(*) AS units_sold,
    SUM(sales_amount) AS total_revenue,
    AVG(sales_amount) AS average_price
FROM \"s3tablescatalog/amzn-s3-demo-bucket\".test_namespace.daily_sales
WHERE sale_date BETWEEN DATE '2024-02-01' AND DATE '2024-02-29'
GROUP BY product_category
ORDER BY total_revenue DESC"\
--work-group "primary"

Creare tabelle S3 in Athena

Athena supporta la creazione di tabelle nei namespace di tabelle S3 esistenti o nei namespace creati in Athena con istruzioni CREATE DATABASE. Per creare una tabella S3 da Athena, la sintassi è la stessa di quando si crea una normale tabella Iceberg, tranne che non si specifica il LOCATION, come mostrato nell'esempio seguente.

CREATE TABLE
[db_name.]table_name (col_name data_type [COMMENT col_comment] [, ...] )
[PARTITIONED BY (col_name | transform, ... )]
[TBLPROPERTIES ([, property_name=property_value] )]

È possibile creare anche tabelle S3 utilizzando le istruzioni CREATE TABLE AS SELECT (CTAS). Per ulteriori informazioni, consulta CTAS per tabelle S3.

Registrare i cataloghi di bucket di tabelle S3 come origini dati Athena

Per registrare i cataloghi di bucket di tabelle S3 con la console Athena, completare i seguenti passaggi.

  1. Aprire la console Athena all'indirizzo https://console.aws.amazon.com/athena/.

  2. Nel pannello di navigazione scegliere Origini dati e cataloghi.

  3. Nella pagina Origini dati e cataloghi, scegliere Crea origine dati.

  4. Per Scegli un'origine dati, selezionare Amazon S3 - AWS Glue Data Catalog.

  5. Nella sezione AWS Glue Data Catalog, per Account di origine dati, scegliere AWS Glue Data Catalogin questo account.

  6. Per Creare una tabella o registrare un catalogo, scegliere Registra un nuovo catalogo AWS Glue.

  7. Nella sezione Dettagli origine dati, per Nome origine dati), inserire il nome che si desidera utilizzare per specificare l'origine dati nelle query SQL o utilizzare il nome predefinito che viene generato.

  8. Per Catalogo, scegliere Sfoglia per cercare un elenco di cataloghi AWS Glue nello stesso account. Se non si vede alcun catalogo esistente, crearne uno nella console AWS Glue.

  9. Nella finestra di dialogo Sfoglia cataloghi AWS Glue, selezionare il catalogo che si desidera utilizzare, quindi selezionare Scegli.

  10. (Facoltativo) Per Tag, inserire le coppie chiave/valore da associare all'origine dati.

  11. Scegliere Successivo.

  12. Nella pagina Rivedi e crea, esaminare le informazioni inserite, quindi scegliere Crea origine dati.

CTAS per tabelle S3

Amazon Athena ora supporta le operazioni CREATE TABLE AS SELECT (CTAS) per le tabelle S3. Questa funzionalità consente di creare nuove tabelle S3 in base ai risultati di una query SELECT.

Quando si crea una query CTAS per una tabella S3, ci sono alcune importanti differenze rispetto alle tabelle Athena standard:

  • È necessario omettere la proprietà posizione perché le tabelle S3 gestiscono automaticamente le proprie posizioni di archiviazione.

  • La proprietà table_type è impostata su ICEBERG, quindi non è necessario specificarla esplicitamente nella query.

  • Se non si specifica un formato, il sistema utilizza automaticamente PARQUET come formato predefinito per i dati.

  • Tutte le altre proprietà seguono la stessa sintassi delle normali tabelle Iceberg.

Prima di creare tabelle S3 utilizzando CTAS, assicurarsi di avere le autorizzazioni necessarie configurate in AWS Lake Formation. In particolare, sono necessarie le autorizzazioni per creare tabelle nel catalogo Tabelle S3. Senza queste autorizzazioni, le operazioni CTAS falliranno.

Nota

Se una query CTAS fallisce, potrebbe essere necessario eliminare la tabella utilizzando l'API Tabelle S3 prima di tentare di rieseguire la query. Non è possibile usare le istruzioni Athena DROP TABLE per rimuovere la tabella che è stata parzialmente creata dalla query.

Esempio

CREATE TABLE "s3tablescatalog/amzn-s3-demo-bucket"."namespace"."s3-table-name"
WITH (
    format = 'PARQUET'
)
AS SELECT *
FROM source_table;