Optimierung der Abfrageleistung für Metadatentabellen

Da S3 Metadata auf dem Apache Iceberg-Tabellenformat basiert, können Sie die Leistung und die Kosten Ihrer Journaltabellenabfragen optimieren, indem Sie bestimmte Zeitbereiche verwenden.

Die folgende SQL-Abfrage gibt beispielsweise die Sensitivitätsstufe neuer Objekte in einem S3-Allzweck-Bucket an:

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Diese Abfrage durchsucht die gesamte Journaltabelle, was eine lange Zeit in Anspruch nehmen kann. Um die Leistung zu verbessern, können Sie die record_timestamp-Spalte so einbeziehen, dass sie sich auf einen bestimmten Zeitraum konzentriert. Wir empfehlen außerdem, den vollqualifizierten Tabellennamen zu verwenden, den Sie in der Amazon-S3-Konsole auf der Seite mit den Metadaten-Konfigurationsdetails auf der Registerkarte Metadaten des Allzweck-Buckets finden. Hier ist eine aktualisierte Version der vorherigen Abfrage, die sich mit neuen Objekten aus dem letzten Monat befasst:

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

Um die Leistung von Abfragen auf Bestandstabellen zu verbessern, stellen Sie sicher, dass Sie nur die Spalten abfragen, die Sie mindestens benötigen.