Überlegungen und Einschränkungen - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überlegungen und Einschränkungen

Berücksichtigen Sie bei der Verwendung des Apache-Hudi-Tabellen die folgenden Punkte.

  • Lese- und Schreiboperationen — Athena kann komprimierte Hudi-Datensätze lesen, aber keine Hudi-Daten schreiben.

  • Hudi-Versionen — Athena unterstützt die Hudi-Versionen 0.14.0 (Standard) und 0.15.0. Athena kann die Lesekompatibilität mit Tabellen, die mit späteren Versionen von Hudi erstellt wurden, nicht garantieren. Weitere Informationen zu Hudi-Features und Versionsverwaltung finden Sie in der Hudi-Dokumentation auf der Apache-Website. Um 0.15.0 des Hudi-Connectors zu verwenden, legen Sie die folgende Tabelleneigenschaft fest:

    ALTER TABLE table_name SET TBLPROPERTIES ('athena_enable_native_hudi_connector_implementation' = 'true')

  • Kontenübergreifende Abfragen — Version 0.15.0 des Hudi-Connectors unterstützt keine kontenübergreifenden Abfragen.

  • Abfragetypen — Derzeit unterstützt Athena Snapshot-Abfragen und leseoptimierte Abfragen, jedoch keine inkrementellen Abfragen. In MoR-Tabellen werden alle Daten, die leseoptimierten Abfragen ausgesetzt sind, komprimiert. Dies bietet eine gute Leistung, enthält jedoch nicht die neuesten Delta-Commits. Snapshot-Abfragen enthalten die aktuellsten Daten, verursachen jedoch einen gewissen Rechenaufwand, wodurch diese Abfragen weniger leistungsfähig sind. Weitere Informationen zu den Kompromissen zwischen Tabellen- und Abfragetypen finden Sie unter Tabellen- und Abfragetypen in der Apache-Hudi-Dokumentation.

  • Inkrementelle Abfragen – Athena unterstützt keine inkrementellen Abfragen.

  • CTAS – Athena unterstützt nicht CTAS oder INSERT INTO auf Hudi-Daten. Wenn Sie Athena-Unterstützung beim Schreiben von Hudi-Datensätzen wünschen, senden Sie Feedback an .

    Weitere Informationen zum Schreiben von Hudi-Daten finden Sie in den folgenden Ressourcen:

  • MSCK REPAIR TABLE – Die Verwendung von MSCK REPAIR TABLE auf Hudi-Tabellen in Athena wird nicht unterstützt. Wenn Sie eine Hudi-Tabelle laden müssen, in AWS Glue der nicht erstellt wurde, verwenden Sie. ALTER TABLE ADD PARTITION

  • Überspringen von Amazon-Glacier-Objekten wird nicht unterstützt – Wenn sich Objekte in der Apache–Hudi-Tabelle in einer Amazon-Glacier-Speicherklasse befinden, hat das Setzen der read_restored_glacier_objects-Tabelleneigenschaft auf false keine Auswirkung.

    Angenommen, Sie führen den folgenden Befehl aus:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    Bei Iceberg- und Delta-Lake-Tabellen erzeugt der Befehl den Fehler Unsupported table property key: read_restored_glacier_objects. Bei Hudi-Tabellen erzeugt der ALTER TABLE-Befehl keinen Fehler, aber Amazon-Glacier-Objekte werden immer noch nicht übersprungen. Beim Ausführen von SELECT-Abfragen nach dem ALTER TABLE-Befehl werden weiterhin alle Objekte zurückgegeben.

  • Zeitstempelabfragen – Derzeit schlagen Abfragen, die versuchen, Zeitstempelspalten in Hudi-Echtzeittabellen zu lesen, entweder fehl oder liefern leere Ergebnisse. Diese Einschränkung gilt nur für Abfragen, die eine Zeitstempelspalte lesen. Abfragen, die nur Spalten ohne Zeitstempel aus derselben Tabelle enthalten, sind erfolgreich.

    Fehlgeschlagene Abfragen geben eine Meldung ähnlich der folgenden zurück:

    GENERIC_INTERNAL_ERROR: Klasse org.apache.hadoop.io. ArrayWritablekann nicht in die Klasse org.apache.hadoop.hive.serde2.io umgewandelt werden. TimestampWritableV2 (org.apache.hadoop.io). ArrayWritable und org.apache.hadoop.hive.serde2.io. TimestampWritableV2 befinden sich im unbenannten Modul des Loaders io.trino.server. PluginClassLoader @75c67992)