Amazon Redshift ne prendra plus en charge la création de nouveaux Python à UDFs partir du patch 198. UDFs Le Python existant continuera de fonctionner jusqu'au 30 juin 2026. Pour plus d’informations, consultez le [ billet de blog ](https://aws.amazon.com/blogs/big-data/amazon-redshift-python-user-defined-functions-will-reach-end-of-support-after-june-30-2026/).
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Créer une intégration d’événements S3 pour copier automatiquement des fichiers à partir de compartiments Amazon S3
**Note**
La version préliminaire pour la copie automatique est terminée. Par conséquent, la version préliminaire des clusters sera automatiquement supprimée 30 jours après la fin de la période de prévisualisation. Si vous envisagez de continuer à utiliser la copie automatique, nous vous recommandons de recréer vos tâches de copie automatique existantes sur un autre cluster Amazon Redshift. La mise à niveau d’un cluster préliminaire vers la dernière version d’Amazon Redshift n’est pas prise en charge.
Vous pouvez utiliser un auto-copy job pour charger des données dans vos tables Amazon Redshift à partir de fichiers stockés dans Amazon S3. Amazon Redshift détecte lorsque de nouveaux fichiers Amazon S3 sont ajoutés au chemin spécifié dans votre commande COPY. Une commande COPY est ensuite automatiquement exécutée sans que vous ayez à créer un pipeline d’ingestion de données externe. Amazon Redshift suit les fichiers qui ont été chargés. Amazon Redshift détermine le nombre de fichiers regroupés par commande COPY. Vous pouvez voir les commandes COPY qui en résultent dans les vues système.
La première étape pour créer un COPY JOB automatique consiste à créer une intégration d’événements S3. Lorsqu’un nouveau fichier apparaît dans le compartiment source Amazon S3, Amazon Redshift gère ensuite le chargement des fichiers dans votre base de données à l’aide de la commande COPY.
## Conditions préalables à la création d’une intégration d’événements S3
Pour configurer l’intégration de votre événement s3, vérifiez que les prérequis suivants sont remplis.
+ Votre compartiment Amazon S3 doit avoir une stratégie de compartiment qui accorde plusieurs autorisations Amazon S3. Par exemple, l'exemple de politique suivant autorise des autorisations pour le compartiment `amzn-s3-demo-bucket` de ressources hébergé dans*us-east-1*. Le compartiment Amazon S3 et l’intégration se trouvent dans la même Région AWS.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "Auto-Copy-Policy-01",
"Effect": "Allow",
"Principal": {
"Service": "redshift.amazonaws.com"
},
"Action": [
"s3:GetBucketNotification",
"s3:PutBucketNotification",
"s3:GetBucketLocation"
],
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket:*",
"Condition": {
"ArnLike": {
"aws:SourceArn": "arn:aws:redshift:us-east-1:111122223333:integration:*"
},
"StringEquals": {
"aws:SourceAccount": "111122223333"
}
}
}
]
}
```
------
+ Votre cluster alloué Amazon Redshift cible ou votre espace de noms Redshift sans serveur cible doit avoir l’autorisation d’accéder au compartiment. Vérifiez qu’un rôle IAM associé à votre cluster ou à votre espace de noms sans serveur dispose d’une politique IAM qui accorde les autorisations appropriées. La politique doit autoriser `s3:GetObject` à la fois pour une ressource de compartiment telle que `amzn-s3-demo-bucket` et `s3:ListBucket` une ressource de compartiment et son contenu tel que `amzn-s3-demo-bucket/*`.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Sid": "AutoCopyReadId",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:ListBucket"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket",
"arn:aws:s3:::amzn-s3-demo-bucket/*"
]
}
]
}
```
------
Ajoutez votre politique à un rôle IAM doté d’une relation de confiance pour le rôle comme suit.
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"redshift.amazonaws.com"
]
},
"Action": "sts:AssumeRole"
}
]
}
```
------
Si votre entrepôt de données cible est un cluster alloué, vous pouvez associer un rôle IAM à votre cluster alloué à l’aide de la console Amazon Redshift, onglet **Autorisations de cluster** dans les détails de votre cluster. Pour plus d’informations sur la façon d’associer un rôle à votre cluster alloué, consultez la section [Associer des rôles IAM à des clusters](https://docs.aws.amazon.com/redshift/latest/mgmt/copy-unload-iam-role-associating-with-clusters.html) dans le *Guide de gestion Amazon Redshift*.
Si votre entrepôt de données cible est Redshift sans serveur, vous pouvez associer un rôle IAM à votre espace de noms sans serveur à l’aide de la console Redshift sans serveur, onglet **Sécurité et chiffrement** dans les détails de votre espace de noms. Pour plus d’informations sur la façon d’associer un rôle à votre espace de noms sans serveur, consultez [Octroi d’autorisations à Amazon Redshift sans serveur](https://docs.aws.amazon.com/redshift/latest/mgmt/serverless-security-other-services.html) dans le *Guide de gestion Amazon Redshift*.
+ Votre entrepôt de données Amazon Redshift doit également disposer d’une politique de ressources autorisant le compartiment Amazon S3. Si vous utilisez la console Amazon Redshift, lorsque vous créez l’intégration d’événements s3, Amazon Redshift propose **Effectuez les corrections pour moi** permettant d’ajouter cette politique à votre entrepôt de données Amazon Redshift. Pour mettre à jour vous-même une politique de ressources, vous pouvez utiliser la [put-resource-policy](https://docs.aws.amazon.com/cli/latest/reference/redshift/put-resource-policy.html) AWS CLI commande. Par exemple, pour associer une politique de ressources à votre cluster provisionné Amazon Redshift afin d'intégrer un événement S3 à un compartiment Amazon S3, exécutez une AWS CLI commande similaire à la suivante. L'exemple suivant montre une politique pour un espace de noms de cluster provisionné dans le compte *us-east-1* Région AWS for user. *123456789012* Le bucket est nommé*amzn-s3-demo-bucket*.
```
aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"
```
Où `rs-rp.json` contient :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "redshift.amazonaws.com"
},
"Action": "redshift:AuthorizeInboundIntegration",
"Resource": "arn:aws:redshift:us-east-1:123456789012:namespace:cc4ffe56-ad2c-4fd1-a5a2-f29124a56433",
"Condition": {
"StringEquals": {
"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket",
"aws:SourceAccount": 111122223333
}
}
},
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::111122223333:role/myRedshiftRole"
},
"Action": "redshift:CreateInboundIntegration",
"Resource": "arn:aws:redshift:us-east-1:123456789012:namespace:cc4ffe56-ad2c-4fd1-a5a2-f29124a56433",
"Condition": {
"StringEquals": {
"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket",
"aws:SourceAccount": 111122223333
}
}
}
]
}
```
------
Pour associer une politique de ressources à votre espace de noms Redshift Serverless pour l'intégration d'un événement S3 à un compartiment Amazon S3, exécutez une AWS CLI commande similaire à la suivante. L'exemple suivant montre une politique pour un espace de noms sans serveur dans le compte utilisateur *us-east-1* Région AWS for. *123456789012* Le bucket est nommé*amzn-s3-demo-bucket*.
```
aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"
```
Où `rs-rp.json` contient :
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "redshift.amazonaws.com"
},
"Action": "redshift:AuthorizeInboundIntegration",
"Resource": "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1",
"Condition": {
"StringEquals": {
"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket",
"aws:SourceAccount": 111122223333
}
}
},
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::123456789012:user/myUser"
},
"Action": "redshift:CreateInboundIntegration",
"Resource": "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1",
"Condition": {
"StringEquals": {
"aws:SourceArn": "arn:aws:s3:::amzn-s3-demo-bucket",
"aws:SourceAccount": 111122223333
}
}
}
]
}
```
------
## Création d’une intégration d’événements S3
Pour configurer votre copy job, vous devez d’abord définir une intégration d’événements S3.
------
#### [ Amazon Redshift console ]
**Pour créer une intégration d’événements Amazon S3 sur la console Amazon Redshift**
1. Connectez-vous à la console Amazon Redshift AWS Management Console et ouvrez-la à l'adresse. [https://console.aws.amazon.com/redshiftv2/](https://console.aws.amazon.com/redshiftv2/)
1. Dans le panneau de navigation de gauche, choisissez **Intégrations d’événements S3**.
1. Choisissez **Créer une intégration d’événements Amazon S3** pour ouvrir l’assistant et créer une intégration d’événements S3 à utiliser avec la copie automatique. Votre compartiment Amazon S3 source et votre entrepôt de données Amazon Redshift cible doivent se trouver dans la même Région AWS. Spécifiez les informations suivantes lors des étapes de création d’une intégration :
+ **Nom de l'intégration** — Il s'agit d'un identifiant unique pour toutes les intégrations que vous détenez Compte AWS actuellement Région AWS.
+ **Description** : il s’agit d’un texte qui décrit l’intégration d’événements Amazon S3 pour référence ultérieure.
+ **Compartiment source S3** : le compartiment Amazon S3 se trouve-t-il dans le compartiment actuel Compte AWS et Région AWS est-il à l'origine de l'ingestion de données dans Amazon Redshift ?
+ **Entrepôt de données Amazon Redshift** : il s’agit du cluster alloué Amazon Redshift ou groupe de travail Redshift sans serveur cible qui reçoit les données de l’intégration.
Si votre Amazon Redshift cible est sur le même compte, vous pouvez sélectionner la cible. Si la cible se trouve dans un autre compte, vous devez spécifier l’**ARN de l’entrepôt de données Amazon Redshift**. La cible doit disposer d’une politique de ressources avec des principaux autorisés et une source d’intégration. Si vous n’avez pas les bonnes politiques de ressources sur la cible et que celle-ci se trouve dans le même compte, vous pouvez sélectionner l’option **Effectuez les corrections pour moi** afin d’appliquer automatiquement les politiques de ressources lors du processus de création d’intégration. Si votre cible se trouve dans une autre région Compte AWS, vous devez appliquer manuellement la politique en matière de ressources à l'entrepôt Amazon Redshift.
1. Entrez jusqu’à 50 **Clés** de balise, avec une **valeur** facultative : pour fournir des métadonnées supplémentaires sur l’intégration.
1. Une page de révision s’affiche dans laquelle vous pouvez choisir **Créer une intégration d’événements S3**.
------
#### [ AWS CLI ]
Pour créer une intégration d'événements Amazon S3 à l'aide de AWS CLI, utilisez la `create-integration` commande avec les options suivantes :
+ `integration-name` : spécifiez le nom de l’intégration.
+ `source-arn` : spécifiez l’ARN du compartiment source Amazon S3.
+ `target-arn` : spécifiez l’ARN de l’espace de noms du cluster alloué Amazon Redshift ou du groupe de travail Redshift sans serveur cible.
L’exemple suivant crée une intégration en fournissant le nom de l’intégration, l’ARN source et l’ARN cible. L’intégration n’est pas chiffrée.
```
aws redshift create-integration \
--integration-name s3-integration \
--source-arn arn:aws:s3:us-east-1::s3-example-bucket \
--target-arn arn:aws:redshift:us-east-1:123456789012:namespace:a1b2c3d4-5678-90ab-cdef-EXAMPLE22222
{
"IntegrationArn": "arn:aws:redshift:us-east-1:123456789012:integration:a1b2c3d4-5678-90ab-cdef-EXAMPLE11111",
"IntegrationName": "s3-integration",
"SourceArn": "arn:aws:s3:::s3-example-bucket",
"SourceType": "s3-event-notifications",
"TargetArn": "arn:aws:redshift:us-east-1:123456789012:namespace:a1b2c3d4-5678-90ab-cdef-EXAMPLE22222",
"Status": "creating",
"Errors": [],
"CreateTime": "2024-10-09T19:08:52.758000+00:00",
"Tags": []
}
```
Vous pouvez également utiliser les AWS CLI commandes suivantes pour gérer l'intégration de vos événements S3.
+ `delete-integration` : spécifiez un ARN d’intégration pour supprimer une intégration d’événements S3.
+ `modify-integration` : spécifiez un ARN d’intégration pour modifier le nom ou la description (ou les deux) d’une intégration d’événements S3.
+ `describe-integrations` : spécifiez un ARN d’intégration pour afficher les propriétés d’une intégration d’événements S3.
Consultez le [https://docs.aws.amazon.com/cli/latest/reference/redshift/](https://docs.aws.amazon.com/cli/latest/reference/redshift/) pour plus d’informations sur ces commandes.
------
Amazon Redshift crée ensuite une intégration d’événements S3 avec la source et la cible associées, le statut et les informations relatives au statut d’une tâche de copie automatique associée. Vous pouvez consulter les informations relatives à une intégration d’événements S3 sur la console Amazon Redshift en choisissant **Intégrations d’événements S3** et en choisissant l’intégration pour en afficher les détails. Les intégrations sont séparées par celles créées **Dans mon compte** et celles **D’autres comptes**. La liste **Dans mon compte** indique les intégrations où la source et la cible se trouvent dans le même compte. La liste **D’autres comptes** indique les intégrations dans lesquelles la source appartient à un autre compte.
Si vous supprimez une intégration d’événements S3, le statut COPY JOB correspondant passe de `1` (actif) à `0` (inactif/en attente). Cependant, le COPY JOB correspondant n’est pas automatiquement supprimé. Si vous essayez ultérieurement de créer un COPY JOB portant le même nom, il se peut qu’il y ait un conflit.
## Création et suivi d’un COPY JOB
Une fois l’intégration créée, sur la page **Détails de l’intégration d’événements S3** correspondant à l’intégration que vous avez créée, choisissez **Créer une tâche de copie automatique** pour accéder à Amazon Redshift Query Editor V2 où vous pouvez créer la tâche de copie automatique pour l’intégration. Amazon Redshift fait correspondre le compartiment de la clause FROM de l’instruction COPY JOB CREATE au compartiment utilisé pour l’intégration d’événements S3. Pour plus d’informations sur l’utilisation d’Amazon Redshift Query Editor V2, consultez [Interrogation d’une base de données à l’aide d’Amazon Redshift Query Editor V2](https://docs.aws.amazon.com/redshift/latest/mgmt/query-editor-v2.html) dans le *Guide de gestion Amazon Redshift*. Par exemple, exécutez la commande COPY suivante dans l’éditeur de requêtes v2 pour créer un COPY JOB automatique qui associe le compartiment Amazon S3 `s3://amzn-s3-demo-bucket/staging-folder` à une intégration d’événements Amazon S3.
```
COPY public.target_table
FROM 's3://amzn-s3-demo-bucket/staging-folder'
IAM_ROLE 'arn:aws:iam::123456789012:role/MyLoadRoleName'
JOB CREATE my_copy_job_name
AUTO ON;
```
Vous définissez une COPY JOB une seule fois. Les mêmes paramètres sont utilisés pour les future exécutions.
Pour définir et gérer un COPY JOB, vous devez disposer d’une autorisation. Pour plus d’informations sur l’octroi et la révocation d’une autorisation sur un COPY JOB, consultez [GRANT](r_GRANT.md) et [REVOKE](r_REVOKE.md). Pour plus d’informations sur l’octroi et la révocation d’autorisations étendues pour un COPY JOB, consultez [Octroi d’autorisations étendues](r_GRANT.md#grant-scoped-syntax) et [Révocation d’autorisations étendues](r_REVOKE.md#revoke-scoped-permissions).
Vous gérez les opérations de chargement à l’aide des options CREATE, LIST, SHOW, DROP, ALTER et RUN des tâches. Pour plus d’informations, consultez [COPY JOB](r_COPY-JOB.md).
Vous pouvez interroger les vues du système pour voir le statut et la progression de COPY JOB. Les vues sont fournies comme suit :
+ [SYS\$1COPY\$1JOB](SYS_COPY_JOB.md) – contient une ligne pour chaque COPY JOB actuellement définie.
+ [SYS\$1COPY\$1JOB\$1DETAIL](SYS_COPY_JOB_DETAIL.md) : contient des informations sur les fichiers en attente, en erreur et ingérés pour chaque COPY JOB.
+ [SYS\$1COPY\$1JOB\$1INFO](SYS_COPY_JOB_INFO.md) : contient les messages enregistrés à propos d’un COPY JOB.
+ [SYS\$1LOAD\$1HISTORY](SYS_LOAD_HISTORY.md) – contient des informations détaillées sur les commandes COPY.
+ [SYS\$1LOAD\$1ERROR\$1DETAIL](SYS_LOAD_ERROR_DETAIL.md) – contient des informations détaillées sur les erreurs de commande COPY.
+ [SVV\$1COPY\$1JOB\$1INTEGRATIONS](SVV_COPY_JOB_INTEGRATIONS.md) : contient des informations détaillées sur les intégrations d’événements S3.
+ [STL\$1LOAD\$1ERRORS](r_STL_LOAD_ERRORS.md) – contient des erreurs provenant des commandes COPY.
+ [STL\$1LOAD\$1COMMITS](r_STL_LOAD_COMMITS.md) – contient des informations permettant de résoudre les problèmes liés au chargement des données d’une commande COPY.
Pour plus d’informations sur la résolution des erreurs d’intégration d’événements S3, consultez [Résolution des problèmes liés à l’intégration des événements S3 et aux erreurs COPY JOB](s3-integration-troubleshooting.md).
Pour obtenir la liste des fichiers chargés par un COPY JOB, exécutez le code SQL suivant, mais remplacez d'abord ** :
```
SELECT job_id, job_name, data_source, copy_query, filename, status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = ;
```
## Considérations relatives à la création d’une intégration d’événements S3 pour la copie automatique
Tenez compte des éléments suivants lorsque vous utilisez la copie automatique.
+ Vous pouvez créer un maximum de 200 COPY JOBS pour chaque cluster ou groupe de travail d’un Compte AWS.
+ Vous pouvez créer 50 intégrations d’événements S3 pour chaque cible Amazon Redshift.
+ Vous ne pouvez pas créer d’intégration d’événements S3 avec un compartiment Amazon S3 source dont le nom du compartiment comporte un point (.).
+ Vous ne pouvez créer qu’une seule intégration d’événements S3 entre la même source et la même cible. En d’autres termes, il ne peut y avoir qu’une seule intégration d’événements S3 entre un compartiment Amazon S3 et un entrepôt de données Amazon Redshift à la fois.
+ Vous ne pouvez pas avoir de notifications d’événement existantes pour le type d’événement `S3_OBJECT_CREATED` défini dans le compartiment Amazon S3 source. Cependant, une fois l'intégration d'un événement S3 créée, vous pouvez mettre à jour la notification d'événement du compartiment Amazon S3 prefix/suffix avec une portée plus restreinte. De cette façon, vous pouvez également effectuer une configuration `S3_OBJECT_CREATED` prefix/suffix pour une autre cible et éviter tout conflit avec l'intégration des événements S3. Si vous rencontrez des problèmes liés au fait que la copie automatique ne s'exécute pas comme prévu, préparez le AWS CloudTrail journal de l'`s3:PutBucketNotificationConfiguration`action sur votre compartiment S3 pour la période en question lorsque vous contactez AWS Support.
## Régions prises en charge
Voici les régions AWS disponibles pour la copie automatique.
| Région | Copie automatique |
| --- | --- |
| Afrique (Le Cap) | Available |
| Asie-Pacifique (Hong Kong) | Available |
| Asie-Pacifique (Taipei) | Available |
| Asie-Pacifique (Tokyo) | Available |
| Asie-Pacifique (Séoul) | Available |
| Asie-Pacifique (Osaka) | Available |
| Asie-Pacifique (Mumbai) | Available |
| Asie-Pacifique (Hyderabad) | Available |
| Asie-Pacifique (Singapour) | Available |
| Asie-Pacifique (Sydney) | Available |
| Asie-Pacifique (Jakarta) | Available |
| Asie-Pacifique (Melbourne) | Available |
| Asie-Pacifique (Malaisie) | Available |
| Asie-Pacifique (Nouvelle Zélande) | Non disponible |
| Asie-Pacifique (Thaïlande) | Available |
| Canada (Centre) | Available |
| Canada-Ouest (Calgary) | Available |
| Chine (Pékin) | Available |
| Chine (Ningxia) | Available |
| Europe (Francfort) | Available |
| Europe (Zurich) | Available |
| Europe (Stockholm) | Available |
| Europe (Milan) | Available |
| Europe (Espagne) | Available |
| Europe (Irlande) | Available |
| Europe (Londres) | Available |
| Europe (Paris) | Available |
| Israël (Tel Aviv) | Available |
| Moyen-Orient (EAU) | Available |
| Middle East (Bahrain) | Available |
| Mexique (Centre) | Available |
| Amérique du Sud (São Paulo) | Available |
| USA Est (Virginie du Nord) | Available |
| USA Est (Ohio) | Available |
| USA Ouest (Californie du Nord) | Available |
| USA Ouest (Oregon) | Available |
| AWS GovCloud (USA Est) | Available |
| AWS GovCloud (US-Ouest) | Available |