Kapazitätsanforderungen bestimmen - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsanforderungen bestimmen

Bevor Sie eine Kapazitätsreservierung erstellen, können Sie die benötigte Kapazität schätzen, sodass Sie ihr die richtige Anzahl von zuweisen können DPUs. Und wenn eine Reservierung genutzt wurde, sollten Sie die Reservierung möglicherweise auf unzureichende oder überschüssige Kapazität überprüfen. In diesem Thema werden Techniken beschrieben, mit denen Sie diese Schätzungen vornehmen können. Außerdem werden einige AWS Tools zur Bewertung von Nutzung und Kosten beschrieben.

Erforderliche Kapazität einscchätzen

Bei der Schätzung des Kapazitätsbedarfs ist es sinnvoll, zwei Aspekte zu berücksichtigen: wie viel Kapazität eine bestimmte Abfrage möglicherweise benötigt, und wie viel Kapazität Sie im Allgemeinen benötigen könnten.

Kapazitätsbedarf pro Abfrage einschätzen

Anhand der folgenden Richtlinien können Sie ermitteln, wie viele davon für eine Abfrage erforderlich sein könnten: DPUs

  • DDL-Abfragen verbrauchen 4. DPUs

  • DML-Abfragen verbrauchen zwischen 4 und 124. DPUs

Athena bestimmt die Anzahl der von einer DML-Abfrage DPUs benötigten, wenn die Abfrage gesendet wird. Die Anzahl variiert je nach Datengröße, Speicherformat, Abfragekonstruktion und anderen Faktoren. Im Allgemeinen versucht Athena, die niedrigste und effizienteste DPU-Nummer auszuwählen. Wenn Athena feststellt, dass mehr Rechenleistung erforderlich ist, damit die Abfrage erfolgreich abgeschlossen werden kann, wird die Anzahl der der Abfrage DPUs zugewiesenen Personen erhöht.

Für die Workload spezifischen Kapazitätsanforderungen einschätzen

Beachten Sie die allgemeinen Richtlinien in der folgenden Tabelle, um zu ermitteln, wie viel Kapazität Sie möglicherweise benötigen, um mehrere Abfragen gleichzeitig auszuführen:

Gleichzeitige Abfragen DPUs erforderlich
10 40 oder mehr
20 96 oder mehr
30 oder mehr 240 oder mehr

Beachten Sie, dass die tatsächliche Anzahl davon DPUs , die Sie benötigen, von Ihren Zielen und Analysemustern abhängt. Wenn Sie beispielsweise möchten, dass Abfragen sofort und ohne Warteschlangen gestartet werden, ermitteln Sie den höchsten Bedarf an gleichzeitigen Abfragen und geben Sie dann die Anzahl der DPUs Abfragen entsprechend an.

Sie können weniger DPUs als Ihren Spitzenbedarf bereitstellen, aber bei Spitzenbedarf kann es zu Warteschlangen kommen. Wenn es zu Warteschlangen kommt, hält Athena Ihre Abfragen in einer Warteschlange und führt sie aus, sobald Kapazität verfügbar ist.

Wenn Sie innerhalb eines festen Budgets Abfragen ausführen möchten, können Sie mit dem AWS Preisrechner ermitteln, wie viele Abfragen Ihrem Budget entsprechen. DPUs

Denken Sie abschließend daran, dass die Datengröße, das Speicherformat und die Art und Weise, wie eine Abfrage geschrieben wird DPUs , die Anforderungen einer Abfrage beeinflussen. Um die Abfrageleistung zu erhöhen, können Sie Ihre Daten komprimieren, partitionieren oder in spaltenförmige Formate konvertieren. Weitere Informationen finden Sie unter Optimieren der Leistung von Athena.

Anzeichen dafür, dass mehr Kapazität benötigt wird

Fehlermeldungen zu unzureichender Kapazität und Queuing bei Abfragen sind zwei Anzeichen dafür, dass die zugewiesene Kapazität unzureichend ist.

Wenn Ihre Abfragen mit einer Fehlermeldung über unzureichende Kapazität fehlschlagen, ist die DPU-Anzahl Ihrer Kapazitätsreservierung zu niedrig für Ihre Abfrage. Wenn Sie beispielsweise eine Reservierung mit 24 haben DPUs und eine Abfrage ausführen, die mehr als 24 erfordert DPUs, schlägt die Abfrage fehl. Um diesen Abfragefehler zu überwachen, können Sie die EventBridge Ereignisse von Athena verwenden. Versuchen Sie, weitere hinzuzufügen DPUs und Ihre Abfrage erneut auszuführen.

Wenn sich viele Abfragen in der Warteschlange befinden, bedeutet dies, dass Ihre Kapazität durch andere Abfragen voll ausgelastet ist. Um die Warteschlangen zu reduzieren, gehen Sie wie folgt vor:

  • Fügen Sie Ihrer Reservierung hinzu DPUs , um die Parallelität der Abfragen zu erhöhen.

  • Entfernen Sie Arbeitsgruppen aus Ihrer Reservierung, um Kapazitäten für andere Abfragen freizugeben.

Verwenden Sie die CloudWatchAthena-Queue-Time-Metrik für die Arbeitsgruppen in Ihrer Kapazitätsreservierung, um zu überprüfen, ob zu viele Abfragewarteschlangen vorhanden sind. Wenn der Wert über Ihrem bevorzugten Schwellenwert liegt, können Sie ihn zur DPUs Kapazitätsreservierung hinzufügen.

Auf ungenutzte Kapazität prüfen

Um nach ungenutzter Kapazität zu suchen, können Sie entweder die Anzahl der DPUs in der Reservierung enthaltenen Kapazitäten verringern oder die Arbeitslast erhöhen und dann die Ergebnisse beobachten.

Auf untätige Kapazität prüfen
  1. Führen Sie eine der folgenden Aktionen aus:

    • Reduzieren Sie die Anzahl der DPUs in Ihrer Reservierung enthaltenen Ressourcen (reduzieren Sie die verfügbaren Ressourcen)

    • Fügen Sie Ihrer Reservierung Arbeitsgruppen hinzu (erhöhen Sie den Workload)

  2. Wird verwendet CloudWatch, um die Wartezeit für Abfragen zu messen.

  3. Wenn die Warteschlangenzeit einen gewünschten Wert überschreitet, gehen Sie wie folgt vor:

    • Entfernen Sie Arbeitsgruppen

    • DPUs Zu Ihrer Kapazitätsreservierung hinzufügen

  4. Überprüfen Sie nach jeder Änderung die Leistung und die Warteschlangenzeit für Abfragen.

  5. Passen Sie die Anzahl der and/or Workload-DPUs weiter an, um das gewünschte Gleichgewicht zu erreichen.

Wenn Sie die Kapazität außerhalb eines bevorzugten Zeitraums nicht aufrechterhalten möchten, können Sie die Reservierung stornieren und später eine weitere Reservierung erstellen. Selbst wenn Sie kürzlich Kapazitäten für eine andere Reservierung storniert haben, können Anfragen nach neuen Kapazitäten nicht garantiert werden, und die Erstellung neuer Reservierungen dauert einige Zeit.

Überwachung des DPU-Verbrauchs

Nachdem Ihre Abfragen ausgeführt wurden, können Sie die von Ihren Abfragen verbrauchte DPU anzeigen, um Ihre Kapazitätsschätzungen zu verfeinern. Athena stellt Metriken zum DPU-Verbrauch über die Konsole, API-Operationen und bereit. CloudWatch Diese Informationen helfen Ihnen dabei, Abfragen zu identifizieren, die mehr oder weniger Ressourcen als erwartet verbrauchen, und Ihre Kapazitätszuweisung auf der Grundlage realer Daten zu optimieren. Ausführliche Informationen zum Anzeigen und Verfolgen des DPU-Verbrauchs finden Sie unter. Überwachen Sie die DPU-Nutzung

Sie können die folgenden Dienste und Funktionen verwenden, AWS um Ihre Nutzung und Kosten von Athena zu messen.

CloudWatch-Metriken

Sie können Athena so konfigurieren, dass abfragebezogene Metriken auf CloudWatch Arbeitsgruppenebene in Amazon veröffentlicht werden. Nachdem Sie Metriken für die Arbeitsgruppe aktiviert haben, werden die Metriken für die Abfragen der Arbeitsgruppe in der Athena-Konsole auf der Detailseite der Arbeitsgruppe angezeigt.

Informationen zu den auf veröffentlichten Athena-Metriken CloudWatch und ihren Dimensionen finden Sie unterÜberwachen Sie Athena-Abfragemetriken mit CloudWatch.

CloudWatch Nutzungsmetriken

Mithilfe von CloudWatch Nutzungsmetriken können Sie sich einen Überblick darüber verschaffen, wie Ihr Konto Ressourcen nutzt, indem Sie Ihre aktuelle Servicenutzung in CloudWatch Diagrammen und Dashboards anzeigen. Für Athena entsprechen die Nutzungsverfügbarkeitsmetriken den AWS Servicekontingenten für Athena. Sie können Alarme konfigurieren, mit denen Sie benachrichtigt werden, wenn sich Ihre Nutzung einem Servicekontingent nähert.

Weitere Informationen finden Sie unter Überwachen Sie die Nutzungsmetriken von Athena mit CloudWatch.

EventBridge Amazon-Veranstaltungen

Sie können Amazon Athena mit Amazon verwenden EventBridge , um in Echtzeit Benachrichtigungen über den Status Ihrer Anfragen zu erhalten. Wenn eine von Ihnen eingereichte Abfrage den Status ändert, veröffentlicht Athena ein Ereignis, EventBridge das Informationen über den Abfragestatusübergang enthält. Sie können einfache Regeln für Ereignisse schreiben, die für Sie von Interesse sind, und automatisierte Aktionen ausführen, wenn ein Ereignis mit einer Regel übereinstimmt.

Weitere Informationen finden Sie in den folgenden Ressourcen.

Tags (Markierungen)

In Athena unterstützen Kapazitätsreservierungen Tags. Ein Tag besteht aus einem Schlüssel und einem Wert. Um Ihre Kosten in Athena zu verfolgen, können Sie AWS-generierte Kostenzuordnungs-Tags verwenden. AWS verwendet die Kostenzuweisungs-Tags, um Ihre Ressourcenkosten in Ihrem Kosten- und Nutzungsbericht zu organisieren. Auf diese Weise können Sie Ihre AWS Kosten leichter kategorisieren und nachverfolgen. Um Kostenzuweisungs-Tags für Athena zu aktivieren, verwenden Sie die AWS Fakturierung und Kostenmanagement -Konsole.

Weitere Informationen finden Sie in den folgenden Ressourcen.