Athena-Abfragenmetriken mit CloudWatch überwachen - Amazon Athena

Athena-Abfragenmetriken mit CloudWatch überwachen

Athena veröffentlicht abfragebezogene Metriken an Amazon CloudWatch, wenn die Option publish query metrics to CloudWatch (Abfragemetriken in CloudWatch veröffentlichen) ausgewählt ist. Sie können benutzerdefinierte Dashboards erstellen, Alarme und Auslöser für Metriken in CloudWatch einrichten oder vorab ausgefüllte Dashboards direkt über die Athena-Konsole verwenden.

Wenn Sie Abfragemetriken für Abfragen in Arbeitsgruppen aktivieren, werden die Metriken auf der Registerkarte Metrics (Metriken) im Bedienfeld Workgroups (Arbeitsgruppen) für jede Arbeitsgruppe in der Athena-Konsole angezeigt.

Athena veröffentlicht die folgenden Metriken in der CloudWatch-Konsole:

  • DPUAllocated – Die Gesamtzahl der DPUs (Datenverarbeitungseinheiten), die im Rahmen einer Kapazitätsreservierung für die Ausführung von Abfragen bereitgestellt wurden.

  • DPUConsumed – Die Anzahl der DPUs, die zu einem bestimmten Zeitpunkt in einer Reservierung aktiv durch Abfragen in einem RUNNING-Zustand genutzt werden. Metrik, die nur ausgegeben wird, wenn die Arbeitsgruppe mit einer Kapazitätsreservierung verknüpft ist, und umfasst alle Arbeitsgruppen, die einer Reservierung zugeordnet sind.

  • DPUCount – Die maximale Anzahl von DPUs, die von Ihrer Abfrage konsumiert werden. Sie wird genau einmal veröffentlicht, sobald die Abfrage abgeschlossen ist.

  • EngineExecutionTime – Die Anzahl der Millisekunden, die die Abfrage zur Ausführung benötigt hat.

  • ProcessedBytes – Die Anzahl der von Athena pro DML-Abfrage gescannten Byte.

  • QueryPlanningTime – Die Anzahl der Millisekunden, die Athena zur Planung des Abfrageverarbeitungsflusses benötigt hat.

  • QueryQueueTime – Die Anzahl der Millisekunden, während denen sich die Abfrage in der Abfragewarteschlange befunden und auf Ressourcen gewartet hat.

  • ServicePreProcessingTime – Die Anzahl der Millisekunden, die Athena für die Vorverarbeitung der Abfrage benötigt hat, bevor sie an die Abfrage-Engine gesendet wurde.

  • ServiceProcessingTime – Die Anzahl der Millisekunden, die Athena für die Verarbeitung der Abfrageergebnisse benötigt hat, nachdem die Abfrage-Engine die Abfrageausführung abgeschlossen hatte.

  • TotalExecutionTime – Die Anzahl der Millisekunden, die Athena zum Ausführen einer DDL- oder DML-Abfrage benötigt hat.

Weitere Informationen finden Sie unter Liste der CloudWatch-Metriken und Dimensionen für Athena weiter unten in diesem Dokument.

Diese Metriken haben die folgenden Dimensionen:

  • CapacityReservation – Der Name der Kapazitätsreservierung, die zur Ausführung der Abfrage verwendet wurde, falls zutreffend.

  • QueryState – SUCCEEDED, FAILED, oder CANCELED

  • QueryType – DML, DDL, oder UTILITY

  • WorkGroup – Name der Arbeitsgruppe

Athena veröffentlicht die folgende Metrik in der CloudWatch-Konsole unter dem AmazonAthenaForApacheSpark-Namespace:

  • DPUCount – Anzahl der DPUs, die während der Sitzung zur Ausführung der Berechnungen verbraucht wurden.

Diese Metrik besitzt die folgenden Dimensionen:

  • SessionId – Die ID der Sitzung, in der die Berechnungen übermittelt werden.

  • WorkGroup – Name der Arbeitsgruppe.

Weitere Informationen finden Sie unter Liste der CloudWatch-Metriken und Dimensionen für Athena an späterer Stelle in diesem Thema. Weitere Informationen zu Athena-Nutzungsmetriken finden Sie unter Athena-Nutzungsmetriken mit CloudWatch überwachen.

Sie können Abfragemetriken in der Athena-Konsole oder in der CloudWatch-Konsole anzeigen.

So zeigen Sie Abfragemetriken für eine Arbeitsgruppe in der Athena-Konsole an

  1. Öffnen Sie die Athena-Konsole unter https://console.aws.amazon.com/athena/.

  2. Wenn der Navigationsbereich in der Konsole nicht sichtbar ist, wählen Sie das Erweiterungsmenü auf der linken Seite.

    Wählen Sie das Erweiterungsmenü aus.

  3. Wählen Sie im Navigationsbereich die Option Workgroups (Arbeitsgruppen) aus.

  4. Wählen Sie in der Liste die Arbeitsgruppe aus, die Sie möchten, und wählen Sie dann das Metrics (Metriken)-Tab aus.

    Das Dashboard mit den Metriken wird angezeigt.

    Anmerkung

    Wenn Sie erst kürzlich Metriken für die Arbeitsgruppe aktiviert haben und/oder keine aktuelle Abfrageaktivität stattgefunden hat, sind die Diagramme im Dashboard möglicherweise leer. Die Abfrageaktivität wird von CloudWatch abhängig von dem Intervall abgerufen, das Sie im nächsten Schritt angeben.

  5. Wählen Sie im Abschnitt Metrics (Metriken) das Metrikintervall aus, das Athena zum Abrufen der Abfragemetriken von CloudWatch verwenden soll, oder geben Sie ein benutzerdefiniertes Intervall an.

    Angeben des Metrikabrufintervalls für eine Arbeitsgruppe in der Athena-Konsole.

  6. Um die angezeigten Metriken zu aktualisieren, wählen Sie das Aktualisierungssymbol aus.

    Wählen Sie das Aktualisierungssymbol aus.

  7. Wählen Sie den Pfeil neben dem Aktualisierungssymbol, um auszuwählen, wie oft die Anzeige der Metriken aktualisiert werden soll.

    Auswählen eines Aktualisierungsintervalls für die Anzeige der Arbeitsgruppenmetriken in der Athena-Konsole.
So zeigen Sie Metriken in der Amazon-CloudWatch-Konsole an

  1. Öffnen Sie die CloudWatch-Konsole unter https://console.aws.amazon.com/cloudwatch/.

  2. Wählen Sie im Navigationsbereich Metrics (Metriken) All metrics (Alle Metriken) aus.

  3. Wählen Sie das AWS/Athena-Namespace.

So zeigen Sie Metriken an mit AWS CLI

  • Führen Sie eine der folgenden Aktionen aus:

    • Um die Metriken für Athena aufzulisten, öffnen Sie eine Eingabeaufforderung und verwenden Sie den folgenden Befehl:

      aws cloudwatch list-metrics --namespace "AWS/Athena"

    • Verwenden Sie den folgenden Befehl, um alle verfügbaren Metriken aufzulisten:

      aws cloudwatch list-metrics"

Wenn Sie CloudWatch-Metriken in Athena aktiviert haben, werden die folgenden Metriken pro Arbeitsgruppe an CloudWatch gesendet. Die folgenden Metriken benutzen den AWS/Athena-Namespace.

Metrikname Beschreibung
DPUAllocated

Die Gesamtzahl der DPUs (Datenverarbeitungseinheiten), die im Rahmen einer Kapazitätsreservierung für die Ausführung von Abfragen bereitgestellt wurden.

DPUConsumed Die Anzahl der DPUs, die zu einem bestimmten Zeitpunkt in einer Reservierung aktiv durch Abfragen in einem RUNNING-Zustand genutzt werden. Diese Metrik wird nur ausgegeben, wenn die Arbeitsgruppe mit einer Kapazitätsreservierung verknüpft ist, und umfasst alle Arbeitsgruppen, die einer Reservierung zugeordnet sind. Wenn Sie eine Arbeitsgruppe von einer Reservierung in eine andere verschieben, enthält die Metrik Daten aus dem Zeitpunkt, zu dem die Arbeitsgruppe zur ersten Reservierung gehörte. Weitere Informationen über Kapazitätsreservierungen finden Sie unter Kapazität zur Abfrageverarbeitung verwalten.
DPUCount Die maximale Anzahl von DPUs, die von Ihrer Abfrage konsumiert werden. Sie wird genau einmal veröffentlicht, sobald die Abfrage abgeschlossen ist. Diese Metrik wird nur für Arbeitsgruppen ausgegeben, die einer Kapazitätsreservierung zugeordnet sind.
EngineExecutionTime

Die Anzahl der Millisekunden, die die Abfrage zur Ausführung benötigt hat.
ProcessedBytes

Die Anzahl der von Athena pro DML-Abfrage gescannten Byte. Bei Abfragen, die storniert wurden (entweder durch die Benutzer oder automatisch, wenn sie das Limit erreicht hatten), schließt dies die Menge der vor der Stornierung durchsuchten Daten ein. Diese Metrik wird für DDL-Abfragen nicht gemeldet.
QueryPlanningTime Die Anzahl der Millisekunden, die Athena zur Planung des Abfrageverarbeitungsflusses benötigt hat. Dies enthält die Zeit, die zum Abrufen von Tabellenpartitionen aus der Datenquelle benötigt wurde. Da die Abfrage-Engine die Abfrageplanung ausführt, ist die Abfrageplanungszeit eine Teilmenge von EngineExecutionTime.
QueryQueueTime Die Anzahl der Millisekunden, während denen sich die Abfrage in der Abfragewarteschlange befunden und auf Ressourcen gewartet hat. Wenn vorübergehende Fehler auftreten, kann die Abfrage der Warteschlange automatisch wieder hinzugefügt werden.
ServicePreProcessingTime Die Anzahl der Millisekunden, die Athena für die Vorverarbeitung der Abfrage benötigt hat, bevor sie an die Abfrage-Engine gesendet wurde.
ServiceProcessingTime Die Anzahl der Millisekunden, die Athena für die Verarbeitung der Abfrageergebnisse benötigt hat, nachdem die Abfrage-Engine die Abfrageausführung abgeschlossen hatte.
TotalExecutionTime Die Anzahl der Millisekunden, die Athena zum Ausführen der Abfrage benötigt hat. TotalExecutionTime umfasst QueryQueueTime, QueryPlanningTime, EngineExecutionTime und ServiceProcessingTime.

Diese Metriken für Athena haben die folgenden Dimensionen.

Dimension Beschreibung
CapacityReservation

Der Name der Kapazitätsreservierung, die zur Ausführung der Abfrage verwendet wurde, falls zutreffend. Wenn eine Kapazitätsreservierung nicht verwendet wird, gibt diese Dimension keine Daten zurück.
QueryState

Der Abfragestatus.

Gültige Statistiken: ERFOLGT, GESCHEITERT oder ABGEBROCHEN.
QueryType

Der Abfragetyp.

Gültige Statistiken: DDL, DML oder UTILITY. Der Typ der Abfrageanweisung, die ausgeführt wurde. DDL gibt DDL-Abfrageanweisungen (Data Definition Language) an. DML weist auf DML-Abfrageanweisungen (Data Manipulation Language) hin, wie z. B. CREATE TABLE AS SELECT. UTILITYkennzeichnet andere Abfrageanweisungen als DDL und DML, z. B. SHOW CREATE TABLE oder DESCRIBE TABLE.
WorkGroup

Der Name der Arbeitsgruppe.