Considerazioni e limitazioni - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Considerazioni e limitazioni

Quando si utilizza Athena per leggere le tabelle Apache Hudi, considerare i seguenti punti.

  • Operazioni di lettura e scrittura: Athena può leggere set di dati Hudi compattati ma non scrivere dati Hudi.

  • Versioni Hudi — Athena supporta la versione Hudi 0.14.0 (predefinita) e 0.15.0. Athena non può garantire la compatibilità di lettura con le tabelle create con versioni successive di Hudi. Per ulteriori informazioni sulle funzionalità e sul controllo delle versioni di Hudi, consulta la documentazione di Hudi sul sito Web di Apache. Per utilizzare la versione 0.15.0 del connettore Hudi, impostate la seguente proprietà della tabella:

    ALTER TABLE table_name SET TBLPROPERTIES ('athena_enable_native_hudi_connector_implementation' = 'true')

  • Interrogazioni tra account: la versione 0.15.0 del connettore Hudi non supporta le interrogazioni tra account.

  • Tipi di query: attualmente, Athena supporta le query snapshot e le query ottimizzate per la lettura, ma non le query incrementali. Sulle tabelle MoR, tutti i dati esposti a query ottimizzate di lettura sono compattati. Ciò fornisce buone prestazioni ma non include i commit delta più recenti. Le query snapshot contengono i dati più aggiornati ma incorrono in un sovraccarico computazionale che rende queste query meno performanti. Per ulteriori informazioni sui compromessi tra i tipi di tabella e query, consulta Tipi di tabella e query nella documentazione di Apache Hudi.

  • Query incrementali: Athena non supporta le query incrementali.

  • CTAS: Athena non supporta CTAS o INSERT INTO per i dati Hudi. Se desideri il supporto Athena per la scrittura di dataset Hudi, invia un feedback ad .

    Per ulteriori informazioni sulla scrittura di dati Hudi, vedere le seguenti risorse:

  • MSCK REPAIR TABLE: l’utilizzo di MSCK REPAIR TABLE sulle tabelle Hudi in Athena non è supportato. Se devi caricare una tabella Hudi non creata in, usa. AWS GlueALTER TABLE ADD PARTITION

  • Ignorare gli oggetti Amazon Glacier non supportati: se gli oggetti nella tabella Apache Hudi si trovano in una classe di archiviazione Amazon Glacier, l’impostazione della proprietà della tabella read_restored_glacier_objects su false non ha alcun effetto.

    Ad esempio, supponiamo di emettere il seguente comando:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Per le tabelle Iceberg e Delta Lake, il comando produce l'errore Chiave delle proprietà della tabella non supportata: read_restored_glacier_objects. Per le tabelle Hudi, il comando ALTER TABLE non produce un errore, ma gli oggetti Amazon Glacier ancora non verranno ignorati. L'esecuzione delle query SELECT dopo il comando ALTER TABLE continuerà a restituire tutti gli oggetti.

  • Interrogazioni con indicazione temporale: attualmente, le query che tentano di leggere le colonne con data e ora nelle tabelle in tempo reale di Hudi hanno esito negativo o producono risultati vuoti. Questa limitazione si applica solo alle query che leggono una colonna con timestamp. Le interrogazioni che includono solo colonne diverse da timestamp della stessa tabella hanno esito positivo.

    Le query non riuscite restituiscono un messaggio simile al seguente:

    GENERIC_INTERNAL_ERROR: classe org.apache.hadoop.io. ArrayWritablenon può essere trasmesso alla classe org.apache.hadoop.hive.serde2.io. TimestampWritableV2 (org.apache.hadoop.io. ArrayWritable e org.apache.hadoop.hive.serde2.io. TimestampWritableLe V2 si trovano nel modulo senza nome del loader io.trino.server. PluginClassLoader @75c67992)