Diffusion de données vers des tables avec Amazon Data Firehose

1. Ouvrez la console IAM à l’adresse https://console.aws.amazon.com/iam/.

2. Dans le volet de navigation de gauche, choisissez Politiques.

3. Choisissez Créer une politique, puis JSON dans l’éditeur de politique.

4. Ajoutez la politique en ligne suivante qui accorde des autorisations à toutes les bases de données et tables de votre catalogue de données. Si vous le souhaitez, vous pouvez accorder des autorisations à des tables et à des bases de données spécifiques uniquement. Pour utiliser cette politique, remplacez user input placeholders par vos propres informations.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Sid": "S3TableAccessViaGlueFederation",
               "Effect": "Allow",
               "Action": [
                   "glue:GetTable",
                   "glue:GetDatabase",
                   "glue:UpdateTable"
               ],
               "Resource": [
                   "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*",
                   "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog",
                   "arn:aws:glue:us-east-1:111122223333:catalog",
                   "arn:aws:glue:us-east-1:111122223333:database/*",
                   "arn:aws:glue:us-east-1:111122223333:table/*/*"
               ]
           },
           {
               "Sid": "S3DeliveryErrorBucketPermission",
               "Effect": "Allow",
               "Action": [
                   "s3:AbortMultipartUpload",
                   "s3:GetBucketLocation",
                   "s3:GetObject",
                   "s3:ListBucket",
                   "s3:ListBucketMultipartUploads",
                   "s3:PutObject"
               ],
               "Resource": [
                   "arn:aws:s3:::error delivery bucket",
                   "arn:aws:s3:::error delivery bucket/*"
               ]
           },
           {
               "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource",
               "Effect": "Allow",
               "Action": [
                   "kinesis:DescribeStream",
                   "kinesis:GetShardIterator",
                   "kinesis:GetRecords",
                   "kinesis:ListShards"
               ],
               "Resource": "arn:aws:kinesis:us-east-1:111122223333:stream/stream-name"
           },
           {
               "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation",
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess"
               ],
               "Resource": "*"
           },
           {
               "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery",
               "Effect": "Allow",
               "Action": [
                   "kms:Decrypt",
                   "kms:GenerateDataKey"
               ],
               "Resource": [
                   "arn:aws:kms:us-east-1:111122223333:key/KMS-key-id"
               ],
               "Condition": {
                   "StringEquals": {
                       "kms:ViaService": "s3.us-east-1.amazonaws.com"
                   },
                   "StringLike": {
                       "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::error delivery bucket/prefix*"
                   }
               }
           },
           {
               "Sid": "LoggingInCloudWatch",
               "Effect": "Allow",
               "Action": [
                   "logs:PutLogEvents"
               ],
               "Resource": [
                   "arn:aws:logs:us-east-1:111122223333:log-group:log-group-name:log-stream:log-stream-name"
               ]
           },
           {
               "Sid": "RequiredWhenAttachingLambdaToFirehose",
               "Effect": "Allow",
               "Action": [
                   "lambda:InvokeFunction",
                   "lambda:GetFunctionConfiguration"
               ],
               "Resource": [
                   "arn:aws:lambda:us-east-1:111122223333:function:function-name:function-version"
               ]
           }
       ]
   }
   

   Cette politique contient des instructions qui autorisent l’accès à Kinesis Data Streams, en invoquant des fonctions Lambda, et l’accès aux clés AWS KMS. Si vous n’utilisez aucune de ces ressources, vous pouvez supprimer les instructions correspondantes.

   Si la journalisation des erreurs est activée, Firehose envoie également les erreurs de remise de données à vos flux et à votre groupe de journaux CloudWatch. Pour cela, vous devez configurer les noms des flux de journaux et du groupe de journaux. Pour connaître les noms des flux de journaux et du groupe de journaux, consultez Surveillance d’Amazon Data Firehose à l’aide de CloudWatch Logs.

5. Une fois que vous avez créé cette politique, créez un rôle IAM avec Service AWS comme Type d’entité approuvée.

6. Pour Service ou cas d’utilisation, choisissez Kinesis. Pour Cas d’utilisation, choisissez Kinesis Firehose.

7. Choisissez Suivant, puis sélectionnez la politique que vous avez créée précédemment.

8. Donnez un nom à votre rôle. Passez en revue les détails de votre rôle, puis choisissez Créer un rôle. Ce rôle sera doté de la politique d’approbation suivante.

   JSON

   {
       "Version":"2012-10-17",		 	 	 
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "sts:AssumeRole"
               ],
               "Principal": {
                   "Service": [
                       "firehose.amazonaws.com"
                   ]
               }
           }
       ]
   }
   

Pour configurer un flux Firehose vers les tables S3 (console)

1. Ouvrez la console Firehose à l’adresse https://console.aws.amazon.com/firehose/.

2. Choisissez Créer un flux Firehose.

3. Pour Source, choisissez l’une des sources suivantes :

   • Amazon Kinesis Data Streams

   • Amazon MSK

   • PUT direct

4. Pour Destination, choisissez Tables Apache Iceberg.

5. Entrez un nom pour Nom du flux Firehose.

6. Configurez vos Paramètres sources.

7. Pour Paramètres de destination, choisissez Compte actuel pour diffuser sur les tables de votre compte ou Entre comptes pour les tables d’un autre compte.

   • Pour les tables du Compte actuel, sélectionnez votre catalogue de S3 Tables dans la liste déroulante Catalogue.

   • Pour les tables Entre comptes, saisissez l’ARN du catalogue vers lequel vous souhaitez diffuser des données sur un autre compte.

8. Configurez les noms de base de données et de tables à l’aide d’une configuration de clé unique, d’expressions JSONQuery ou d’une fonction Lambda. Pour plus d’informations, reportez-vous à Routage des enregistrements entrants vers une table Iceberg unique et Routage des enregistrements entrants vers différentes tables Iceberg dans le Guide du développeur Amazon Data Firehose.

9. Sous Paramètres de sauvegarde, spécifiez un compartiment de sauvegarde S3.

10. Pour Rôles IAM existants, sous Paramètres avancés, sélectionnez le rôle IAM que vous avez créé pour Firehose.

11. Choisissez Créer un flux Firehose.