View a markdown version of this page

Considérations, quotas et autorisations relatifs à la mise en vrac d'articles - Amazon DynamoDB

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations, quotas et autorisations relatifs à la mise en vrac d'articles

Cette rubrique couvre les quotas, les autorisations IAM et les interactions entre fonctionnalités qui s'appliquent aux opérations de vente en bloc d'articles Amazon DynamoDB. Passez en revue ces contraintes avant de commencer une opération de vente groupée d'articles.

Quotas

Les opérations de mise en lot d'articles sont soumises à des quotas sur les opérations simultanées, les opérations actives par table, la taille totale d'entrée, ainsi que le nombre et la taille des objets d'entrée. Pour les valeurs et la manière dont DynamoDB les applique, voir Quotas pour les articles vendus en vrac.

Exigences relatives à l'état du tableau

Pour démarrer une opération de vente groupée d'articles, la table cible doit se trouver dans ACTIVE état, ou dans le UPDATING état pour une modification qui n'entre pas en conflit avec les écritures en masse. Vous ne pouvez pas démarrer une opération pendant que la table crée un index secondaire. Vous ne pouvez pas non plus en démarrer une pendant que la table est en cours de transition vers ou depuis une table globale, ou lors d'une restauration à partir d'une sauvegarde.

Tables globales

Important

Les articles vendus en bloc ne prennent pas en charge les tableaux globaux.

Les restrictions suivantes s’appliquent :

  • Vous ne pouvez pas démarrer une opération de mise en bloc d'articles sur une table qui fait partie d'une table globale.

  • Vous ne pouvez pas ajouter de réplique à une table dans laquelle une opération de mise en bloc d'éléments est en cours.

Si votre charge de travail nécessite l'écriture de données dans une table globale, utilisez BatchWriteItem ou individuel PutItem opérations à la place.

Index vectoriels

Vous pouvez utiliser des éléments placés en bloc pour ingérer des données dans des tableaux dotés d'un index vectoriel en utilisant le niveau de performance standard. Le niveau de performances accélérées n'est pas disponible pour ces tables et sa demande échoue à la validation.

DynamoDB mesure les octets de l'index vectoriel séparément des octets de la table et de l'index secondaire.

Index secondaires

Les articles placés en bloc mettent automatiquement à jour les index secondaires globaux (GSI) et les index secondaires locaux (LSI) au cours d'une opération. Il n'est pas nécessaire de prendre des mesures supplémentaires pour propager les données vers vos index.

Chaque écriture d'index est mesurée indépendamment. Les octets écrits dans chaque GSI et LSI sont pris en compte dans votre utilisation d'articles en vrac.

Cancellation

Vous pouvez annuler une opération de vente en gros d'articles en appelant CancelBulkOperation. Lorsque vous annulez une opération, les événements suivants se produisent :

  • Les éléments déjà inscrits dans le tableau restent en place et sont immédiatement lisibles. DynamoDB n'annule pas les éléments qui ont été écrits avant l'annulation.

  • L'état de fonctionnement passe à CANCELLING et puis CANCELLED.

Facturation pour les articles défectueux

Les éléments rejetés par validation avant une tentative d'écriture dans un tableau ne sont pas facturés comme des écritures dans un tableau. Les articles qui arrivent sur la table et qui échouent à la vérification de leur état sont facturés. Pour les détails de facturation complets, voir Facturation pour les rapports et les articles ayant échoué.

Flux

Sur une table sur laquelle DynamoDB Streams ou un flux de données Kinesis est activé, chaque écriture en masse produit un enregistrement de flux, délivré au taux d'écriture de l'opération. Les éléments qui échouent à une vérification de condition ne produisent pas d'enregistrement de flux. Les consommateurs dimensionnés pour un trafic normal peuvent prendre du retard. DynamoDB Streams conserve les enregistrements pendant 24 heures, de sorte qu'un consommateur ayant plus de 24 heures de retard perd ses enregistrements. Utiliser MaxWriteRequestUnits dans le StartBulkPutItems appel pour plafonner le taux d'écriture de l'opération de masse et protéger les consommateurs en aval.

Statistiques et informations sur les contributeurs

Les écritures groupées n'apparaissent pas dans le tableau ConsumedWriteCapacityUnits métrique ou dans Contributor Insights, car ils ne consomment pas de capacité. Lors d'une opération, utilisez DescribeBulkOperation et la sortie Amazon S3 pour suivre les progrès et les échecs plutôt que ceux du tableau CloudWatch métriques.

Ecritures simultanées sur les mêmes touches

Au cours d'une opération, DynamoDB peut écrire certains enregistrements une deuxième fois après un basculement interne. Chaque écriture répétée utilise l'expression de condition de l'enregistrement, de sorte qu'une protection de version sur chaque enregistrement empêche une écriture répétée de remplacer des données plus récentes. Si votre application écrit sur les mêmes clés pendant l'exécution d'une opération, une écriture en masse répétée sans condition peut remplacer une écriture d'application plus récente. Pour protéger ces clés, ajoutez un attribut de version à chaque élément et utilisez une expression de condition (par exemple attribute_not_exists(#v) OR #v < :new) de sorte qu'une écriture répétée ne peut pas remplacer une valeur plus récente.

Cross-account accès

L'appelant doit être inscrit sur le compte de la table. Cross-account les appelants sont bloqués au démarrage, à la description et à l'annulation. Pour un compartiment Amazon S3 dans un autre compte, définissez S3BucketOwner. DynamoDB envoie x-amz-expected-bucket-owner, qui correspond par défaut au compte de l'appelant. DynamoDB utilise les informations d'identification de l'appelant pour accéder à Amazon S3. C'est donc le principal de l'appelant, et non un principal de service DynamoDB, qui a besoin d'un accès au bucket.

Si un autre compte possède un compartiment, la politique d'identité de l'appelant et la politique du compartiment doivent toutes deux autoriser l'accès.

Pour lire les données d'un autre compte :

  1. Dans la politique d'identité de l'appelant, ajoutez le compartiment source à AllowS3ReadInput.

  2. Dans le compte du propriétaire du bucket, ajoutez une politique de bucket qui accorde à l'appelant s3:ListBucket sur le seau et s3:GetObject sur le préfixe d'entrée.

  3. Dans InputS3Configuration, ensemble S3BucketOwner à l'identifiant de compte du propriétaire du bucket.

Pour transférer les résultats vers un autre compte :

  1. Dans le compartiment de sortie, définissez Object Ownership sur Bucket owner forced. Le propriétaire du bucket est alors propriétaire des objets du rapport et du manifeste.

  2. Dans la politique d'identité de l'appelant, autorisez s3:PutObject et s3:AbortMultipartUpload sur le préfixe de sortie.

  3. Dans le compte du propriétaire du bucket, ajoutez une politique de bucket qui accorde à l'appelant les deux mêmes actions sur le même préfixe.

  4. Dans OutputS3Configuration, ensemble S3BucketOwner à l'identifiant de compte du propriétaire du bucket.

Avec cette politique, le propriétaire du bucket peut lire le résultat, mais pas l'appelant. Condition-check les enregistrements du rapport contiennent l'élément de table existant (oldImage), afin que le propriétaire du bucket de sortie puisse lire ces données.

Si S3BucketOwner est faux, StartBulkPutItems renvoie toujours un ARN d'opération. DynamoDB peut écrire des éléments dans la table avant que l'opération n'échoue avec S3AccessDenied, et il ne produit aucun rapport ni manifeste.

L'exemple suivant montre une politique de compartiment de sortie. Remplacez TABLE_ACCOUNT_ID, ROLE_NAME, OUTPUT_BUCKET et OUTPUT_PREFIX par vos propres valeurs.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::TABLE_ACCOUNT_ID:role/ROLE_NAME" }, "Action": ["s3:PutObject", "s3:AbortMultipartUpload"], "Resource": "arn:aws:s3:::OUTPUT_BUCKET/OUTPUT_PREFIX/*" } ] }

Cross-Region des seaux

Un compartiment d'entrée ou de sortie dans un autre AWS La région encourt des factures de transfert de données entre régions, et si cette région est perturbée, l'opération ralentit ou s'arrête jusqu'à expiration. Utilisez les compartiments de la région du tableau lorsque vous le pouvez.

AWS KMS chiffrement

S3SseKmsKeyId est requis lorsque S3SseAlgorithm est KMS, et est rejetée lorsque S3SseAlgorithm est AES256. S3SseAlgorithm est requis chaque fois que vous fournissez un identifiant de clé. Pour une table chiffrée avec une clé gérée par le client, l'appelant doit kms:Decrypt sur cette touche. Si l'appelant ne l'a pas, StartBulkPutItems renvoie un AccessDeniedException et aucune opération ne démarre.

CloudTrail

AWS CloudTrail enregistre le StartBulkPutItems appel avec le nom de l'événement StartBulkOperation et type de ressource AWS::DynamoDB::BulkOperation. Les écritures d'éléments individuels ne sont pas enregistrées.

DynamoDB Accelerator (DAX)

Les écritures en masse contournent le DAX, de sorte que les éléments mis en cache dans DAX restent obsolètes jusqu'à l'expiration de leur TTL DAX. Prévoyez cela si le tableau est placé devant le DAX.

Autorisations IAM

Les articles vendus en vrac nécessitent les actions IAM suivantes. Une politique minimale doit inclure les cinq, car une politique qui n'accorde que les actions de démarrage peut démarrer une opération mais ne peut pas la surveiller ou l'annuler. Le tableau suivant répertorie ces actions.

Action Scope Description
dynamodb:StartBulkOperation bulk-operation/* Nécessaire pour démarrer une opération de vente d'articles en vrac. L'appel de démarrage évalue également les balises et la politique basée sur les ressources de la table cible.
dynamodb:BulkPutItems Le tableau cible Obligatoire pour écrire des éléments dans la table cible lors d'une opération de mise en bloc d'éléments.
dynamodb:DescribeBulkOperation L'opération ARN Nécessaire pour surveiller une opération.
dynamodb:CancelBulkOperation L'opération ARN Obligatoire pour annuler une opération.
dynamodb:ListBulkOperations bulk-operation/* Obligatoire pour répertorier les opérations.

Outre les actions DynamoDB, le principal IAM qui appelle StartBulkPutItems a besoin des autorisations Amazon S3 dans l'exemple de politique. Pour les compartiments d'un autre compte, voir Cross-account accès. Le compartiment de saisie peut également se trouver dans une région différente de celle du tableau.

DynamoDB vérifie à nouveau les autorisations de l'appelant pendant l'exécution de l'opération. Si l'appelant perd dynamodb:BulkPutItems sur la table, ou AWS KMS accès à la clé gérée par le client de la table, l'opération se termine FAILED avec DynamoDBAccessDeniedException ou KmsAccessDeniedException. Les éléments déjà écrits restent dans le tableau. Conservez les autorisations de l'appelant en place jusqu'à la fin de l'opération.

DynamoDB prend en charge les opérations groupées sur des tables chiffrées, ainsi que la lecture à partir de sources de données chiffrées et la transmission de la sortie d'erreur aux compartiments Amazon S3 chiffrés.

Exemple de politique IAM

La politique IAM suivante accorde les autorisations minimales requises pour exécuter une opération de vente en bloc d'articles. Remplacez les valeurs des espaces réservés par votre identifiant de compte, votre région, le nom de la table et les noms des compartiments.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowStartBulkOperation", "Effect": "Allow", "Action": "dynamodb:StartBulkOperation", "Resource": "arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/*" }, { "Sid": "AllowBulkPutItems", "Effect": "Allow", "Action": "dynamodb:BulkPutItems", "Resource": "arn:aws:dynamodb:us-east-1:111122223333:table/MyTable" }, { "Sid": "AllowManageBulkOperations", "Effect": "Allow", "Action": [ "dynamodb:DescribeBulkOperation", "dynamodb:CancelBulkOperation", "dynamodb:ListBulkOperations" ], "Resource": "arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/*" }, { "Sid": "AllowS3ReadInput", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Sid": "AllowS3WriteOutput", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:AbortMultipartUpload" ], "Resource": "arn:aws:s3:::amzn-s3-demo-bucket1/*" } ] }

Si vous utilisez AWS KMS Lors du chiffrement des objets Amazon S3 ou de la table DynamoDB, ajoutez les autorisations suivantes à la politique. Pour lire ou écrire dans une table chiffrée, l'appelant a besoin de la même AWS KMS autorisations documentées pour PutItem sur des tables chiffrées. Remplacer your-kms-key-id avec l'identifiant de votre AWS KMS clé :

{ "Sid": "AllowKMSAccess", "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/your-kms-key-id" }