Erstellen einer S3-Ereignisintegration, um Dateien automatisch aus Amazon-S3-Buckets zu kopieren

Der Amazon-S3-Bucket muss über eine Bucket-Richtlinie verfügen, die mehrere Amazon-S3-Berechtigungen zulässt. Die folgende Beispielrichtlinie ermöglicht beispielsweise Berechtigungen für den Ressourcen-Bucketamzn-s3-demo-bucket, der in us-east-1 gehostet wird. Sowohl der Amazon-S3-Bucket als auch die Integration befinden sich in der derselben AWS-Region.

Der von Amazon Redshift bereitgestellte Zielcluster oder der Redshift-Serverless-Namespace muss über Berechtigungen für den Bucket verfügen. Überprüfen Sie, ob eine IAM-Rolle, die Ihrem Cluster oder Serverless Namespace zugeordnet ist, über eine IAM-Richtlinie verfügt, die die richtigen Berechtigungen zulässt. Die Richtlinie muss sowohl s3:GetObject für eine Bucket-Ressource wie amzn-s3-demo-bucket als auch s3:ListBucket für eine Bucket-Ressource und ihren Inhalt zulassen, z. B. amzn-s3-demo-bucket/*.

Fügen Sie Ihre Richtlinie wie folgt zu einer IAM-Rolle hinzu, für die eine Vertrauensbeziehung besteht.

Wenn Ihr Ziel-Data-Warehouse ein bereitgestellter Cluster ist, können Sie Ihrem bereitgestellten Cluster über die Amazon-Redshift-Konsole auf der Registerkarte Cluster-Berechtigungen in den Cluster-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem bereitgestellten Cluster eine Rolle zuordnen, finden Sie unter Zuordnen von IAM-Rollen zu Clustern im Managementleitfaden zu Amazon Redshift.

Wenn Ihr Ziel-Data-Warehouse Redshift Serverless ist, können Sie Ihrem Serverless-Namespace über die Redshift-Serverless-Konsole auf der Registerkarte Sicherheit und Verschlüsselung in den Namespace-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem Serverless-Namespace eine Rolle zuordnen, finden Sie unter Gewähren von Berechtigungen für Amazon Redshift Serverless im Managementleitfaden zu Amazon Redshift.

Ihr Data Warehouse in Amazon Redshift muss auch über eine Ressourcenrichtlinie verfügen, die den Amazon-S3-Bucket zulässt. Wenn Sie die Amazon-Redshift-Konsole verwenden und die S3-Ereignisintegration erstellen, bietet Amazon Redshift die Option Reparieren, um diese Richtlinie zu Ihrem Data Warehouse in Amazon Redshift hinzuzufügen. Um eine Ressourcenrichtlinie selbst zu aktualisieren, können Sie den put-resource-policyAWS CLIBefehl verwenden. Um beispielsweise eine Ressourcenrichtlinie an Ihren von Amazon Redshift bereitgestellten Cluster für eine S3-Ereignisintegration mit einem Amazon S3-Bucket anzuhängen, führen Sie einen AWS CLI Befehl aus, der dem folgenden ähnelt. Das folgende Beispiel zeigt eine Richtlinie für einen bereitgestellten Cluster-Namespace im us-east-1 AWS-Region Benutzerkonto for. 123456789012 Der Bucket ist benannt. amzn-s3-demo-bucket

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"

Wobei rs-rp.json Folgendes enthält:

Um Ihrem Redshift Serverless-Namespace eine Ressourcenrichtlinie für eine S3-Eventintegration mit einem Amazon S3-Bucket anzuhängen, führen Sie einen AWS CLI Befehl aus, der dem folgenden ähnelt. Das folgende Beispiel zeigt eine Richtlinie für einen serverlosen Namespace im for-Benutzerkonto. us-east-1 AWS-Region 123456789012 Der Bucket ist benannt. amzn-s3-demo-bucket

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"

Wobei rs-rp.json Folgendes enthält:

SYS_COPY_JOB – enthält eine Zeile für jeden derzeit definierten COPY JOB.

SYS_COPY_JOB_DETAIL – enthält Details zu ausstehenden, fehlerhaften und erfassten Dateien für jeden COPY JOB.

SYS_COPY_JOB_INFO – enthält protokollierte Meldungen zu einem COPY JOB.

SYS_LOAD_HISTORY – enthält Details zu COPY-Befehlen.

SYS_LOAD_ERROR_DETAIL – enthält Details zu Fehlern bei COPY-Befehlen.

SVV_COPY_JOB_INTEGRATIONS – enthält Details zu S3-Ereignisintegrationen.

STL_LOAD_ERRORS – enthält Fehler von COPY-Befehlen.

STL_LOAD_COMMITS – enthält Informationen, die zur Behebung von Fehlern beim Laden von COPY-Befehlsdaten verwendet werden.

Sie können maximal 200 COPY JOBS für jeden Cluster oder jede Arbeitsgruppe in einem AWS-Konto erstellen.

Sie können maximal 50 S3-Ereignisintegrationen für jedes Amazon-Redshift-Ziel erstellen.

Sie können keine S3-Ereignisintegration mit einem Quell-Bucket in Amazon S3 erstellen, der im Namen einen Punkt (.) enthält.

Sie können jeweils nur eine S3-Ereignisintegration zwischen derselben Quelle und demselben Ziel erstellen. Das bedeutet, dass es jeweils nur eine S3-Ereignisintegration zwischen einem Amazon-S3-Bucket und einem Data Warehouse in Amazon Redshift geben kann.

Es darf keine vorhandenen Ereignisbenachrichtigungen für den Ereignistyp S3_OBJECT_CREATED geben, die im Quell-Bucket in Amazon S3 definiert sind. Nachdem eine S3-Ereignisintegration erstellt wurde, können Sie die Amazon S3 S3-Bucket-Ereignisbenachrichtigung jedoch mit einer prefix/suffix mit einem engeren Geltungsbereich aktualisieren. Auf diese Weise können Sie auch andere Ziele konfigurieren S3_OBJECT_CREATED und so Konflikte mit der S3-Eventintegration vermeiden. prefix/suffix Wenn Sie Probleme haben, dass die automatische Kopie nicht wie erwartet ausgeführt wurde, bereiten Sie das AWS CloudTrail Protokoll der s3:PutBucketNotificationConfiguration Aktion auf Ihrem S3-Bucket für den fraglichen Zeitraum vor, wenn Sie Kontakt aufnehmenAWS Support.