Drosselung auf Service-Ebene reduzieren - Amazon Athena

Drosselung auf Service-Ebene reduzieren

Um eine Drosselung von Amazon S3 auf Service-Ebene zu vermeiden, können Sie Ihre Nutzung überwachen und Ihre Servicekontingente anpassen oder Sie verwenden bestimmte Techniken wie Partitionierung. Im Folgenden sind einige der Bedingungen aufgeführt, die zu einer Drosselung führen können:

  • Überschreitung der API-Anforderungslimits Ihres Kontos – Amazon S3 hat standardmäßige API-Anforderungslimits, die auf Kontotyp und -nutzung basieren. Wenn Sie die maximale Anzahl von Anfragen pro Sekunde für ein einzelnes Präfix überschreiten, werden Ihre Anfragen möglicherweise gedrosselt, um eine Überlastung des Amazon-S3-Service zu verhindern.

  • Unzureichende Datenpartitionierung – Wenn Sie Ihre Daten nicht richtig partitionieren und große Datenmengen übertragen, kann Amazon S3 Ihre Anfragen drosseln. Weitere Informationen finden Sie im Abschnitt Partitionierung verwenden in diesem Dokument.

  • Große Anzahl kleiner Objekte – Vermeiden Sie nach Möglichkeit eine große Anzahl kleiner Dateien. Amazon S3 hat ein Limit von 5 500 GET-Anfragen pro Sekunde pro partitioniertem Präfix, und Ihre Athena-Abfragen haben dasselbe Limit. Wenn Sie Millionen von kleinen Objekten in einer einzigen Abfrage scannen müssen, wird Ihre Abfrage wahrscheinlich von Amazon S3 gedrosselt werden.

Um übermäßiges Scannen zu vermeiden, verwenden Sie AWS Glue-ETL, um Ihre Dateien regelmäßig zu komprimieren oder die Tabelle zu partitionieren und Partitionsschlüsselfilter hinzuzufügen. Weitere Informationen finden Sie in den folgenden Ressourcen.