View a markdown version of this page

Production et rapprochement des articles en vrac - Amazon DynamoDB

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Production et rapprochement des articles en vrac

Lorsqu'une opération de mise en lot d'articles est terminée, DynamoDB génère un rapport dans le compartiment Amazon S3 que vous avez spécifié dans Configuration des sorties 3. Ce rapport contient des informations sur des éléments qui n'ont pas été écrits.

Types de rapports

Lorsque vous démarrez l'opération, OutputType Le paramètre spécifie les catégories d'éléments qui apparaissent dans le rapport. Vous pouvez demander l'un des types suivants ou les deux.

OutputType valeur Table des matières
ERROR Éléments qui ont échoué pour des raisons déterministes telles que des erreurs de validation (par exemple, un élément dépassant la taille maximale de l'élément ou un attribut clé obligatoire manquant).
CONDITION_CHECK_FAILURE Éléments dont l'expression de condition par élément n'a pas été respectée. Par exemple, un attribute_not_exists(id) condition qui a échoué car l'élément existe déjà dans le tableau.

Compte à partir de DescribeBulkOperation

Le DescribeBulkOperation la réponse fournit les chiffres suivants :

  • ProcessedItemCount — Le nombre d'enregistrements d'entrée lus pendant l'opération, y compris les enregistrements dont la validation ou la vérification de l'état ont échoué. Il s'agit d'un décompte des enregistrements lus, et non des éléments écrits.

  • FailedItemCount — Le nombre d'éléments qui ont échoué pour des raisons déterministes, telles que des erreurs de validation. Condition-check les échecs ne sont pas inclus dans ce décompte.

Important

Condition-check les défaillances ne sont pas exposées en tant que compte distinct dans le DescribeBulkOperation réponse. Pour trouver ces objets, voir Concilier les résultats.

Concilier les résultats

Pour obtenir une image complète des résultats de vos opérations, suivez ce flux de travail :

  1. Appel DescribeBulkOperation jusqu'à ce que le statut soit COMPLETED, COMPLETED_WITH_ERRORS, CANCELLED, ou FAILED. Record ProcessedItemCount et FailedItemCount.

  2. Répertorier tous les objets commençant par output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id. Cela renvoie le manifeste et tous les fichiers de rapport. S'il n'existe aucun manifeste, vérifiez FailureCode. Lisez le manifeste. Pour chaque objet d'entrée, vérifiez fileProcessingStatus et processedRanges, et confirmez que etag correspond à votre objet. Lisez ensuite chaque fichier de rapport. Pour répertorier et lire ces objets, l'appelant doit s3:ListBucket et s3:GetObject sur le compartiment de sortie. L'exemple de politique d'écriture n'accorde pas ces autorisations de lecture.

  3. Utilisez le rapport Amazon S3 pour identifier les articles spécifiques nécessitant une action, comme la correction des articles défectueux et leur renvoi, ou la révision des articles dont l'état n'a pas été vérifié.

Les articles mis en vrac n'ont pas besoin de ces autorisations de lecture. Communiquez-les dans une déclaration séparée au directeur qui vérifie les résultats.

Cette approche (nombre d'API et analyse des rapports Amazon S3) vous permet de réaliser le rapprochement le plus précis possible. L'API fournit un résumé de haut niveau et le rapport Amazon S3 fournit des informations détaillées par article.

Fichier manifeste

Outre les fichiers de rapports, DynamoDB génère un fichier manifeste vers l'emplacement de sortie. Le manifeste indique l'état de traitement de chaque objet d'entrée, afin que vous puissiez découvrir quels objets d'entrée n'ont pas été traités ou ne l'ont été que partiellement. DynamoDB affiche le manifeste sur le chemin suivant :

s3://output-bucket/output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id/manifest-files.json

Le manifeste contient un objet JSON par objet d'entrée. Le manifeste est constitué de lignes JSON décompressées. Les fichiers de rapports sont compressés au format GZIP. Chaque objet possède les champs suivants :

  • entréeSourceArn — Identifie l'objet d'entrée dans Amazon S3.

  • fichierProcessingStatus — La mesure dans laquelle DynamoDB a traité cet objet dans son intégralité.

  • Gammes traitées — Les plages d'index d'éléments que DynamoDB a traitées, sous la forme d'un tableau de [start, end] paires. Le tableau est vide lorsque DynamoDB n'a traité aucun enregistrement et pour un objet en entrée ne contenant aucun élément.

  • etag — La balise d'entité de l'objet d'entrée.

Le fileProcessingStatus Le champ prend l'une des valeurs suivantes :

  • ENTIÈREMENT TRAITÉ — DynamoDB a traité chaque élément de l'objet. Pour un objet sans objets, processedRanges est vide.

  • PARTIELLEMENT_TRAITÉ — DynamoDB n'a pas traité tous les éléments de l'objet. processedRanges affiche la plage traitée et peut être vide, par exemple lorsque le premier enregistrement ne peut pas être analysé.

  • NON_TRAITÉ — L'opération s'est terminée avant que DynamoDB n'atteigne cet objet, par exemple parce qu'elle a été annulée, a échoué ou a expiré. DynamoDB génère le manifeste uniquement à la fin de l'opération. Ce statut ne signifie donc jamais que l'objet est toujours en attente de traitement.

  • NON_DISPONIBLE — DynamoDB n'a pas pu confirmer exactement la quantité de cet objet traitée. Elle ne rapporte donc aucune fourchette au lieu de signaler les risques tels qu'ils ont été traités alors qu'ils ne l'étaient pas. Traitez l'objet comme s'il n'était pas complètement traité.

L'exemple suivant montre une ligne par valeur d'état. Chaque ligne est un objet JSON unique.

{"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/customers-done.json.gz","fileProcessingStatus":"FULLY_PROCESSED","processedRanges":[[0,9999]],"etag":"9b2cf535f27731c974343645a3985328"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/orders-partial.json.gz","fileProcessingStatus":"PARTIALLY_PROCESSED","processedRanges":[[0,4999]],"etag":"8f14e45fceea167a5a36dedd4bea2543"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/inventory-queued.json.gz","fileProcessingStatus":"NOT_PROCESSED","processedRanges":[],"etag":"c9f0f895fb98ab9159f51fd0297e236d"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/placeholder-not-available.json.gz","fileProcessingStatus":"NOT_AVAILABLE","processedRanges":[],"etag":"45c48cce2e2d7fbdea1afc51c7c6ad26"}

Dans le FULLY_PROCESSED exemple, la gamme [0,9999] représente un objet dont les 10 000 éléments ont tous été traités. Dans le PARTIALLY_PROCESSED exemple, la gamme [0,4999] signifie que les éléments 0 à 4999 ont été traités et que les autres ne l'ont pas été.

Utilisez le manifeste pour identifier les objets d'entrée qui n'ont pas été traités ou qui ne l'ont été que partiellement. Ceci est distinct des éléments individuels qui ont échoué ou dont la condition n'a pas été remplie, qui sont signalés dans la sortie par article. Pour plus d'informations sur la sortie par article, voir Types de rapports.

Disposition du fichier de sortie

DynamoDB génère un répertoire par tâche interne, par exemple output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id-n/output/errors/output-NNNNN.json.gz, avec un condition-check-failures/ annuaire. Les fichiers de sortie sont des lignes JSON compressées au format gzip. DynamoDB ferme chaque fichier de sortie à 200 Mo et en démarre un nouveau, afin que les fichiers de sortie puissent apparaître alors que l'opération est toujours en cours IN_PROGRESS.

Les enregistrements des rapports incluent itemLocation et errorMessages. itemLocation contient inputSourceArn et itemIndex. itemIndex peut être absent, par exemple lorsqu'un enregistrement tronqué empêche DynamoDB de lire le reste de l'objet. Condition-check-failure les enregistrements incluent également newImage et oldImage, de sorte que la sortie de vérification de l'état peut être plus grande que l'entrée qu'elle décrit. ERROR les enregistrements peuvent omettre newImage, par exemple pour un élément qui dépasse la taille maximale de l'élément ou pour un enregistrement dont l'opérande de condition n'est pas valide. DynamoDB génère un fichier pour un type de rapport demandé uniquement si au moins un élément appartient à ce type. Si S3BucketOwner ne correspond pas au propriétaire du bucket en sortie, l'opération échoue et ne génère aucun rapport ni manifeste. Une opération qui échoue avec ResourceInUseException car une autre opération est en cours sur la table, aucun manifeste ou rapport n'est généré.

Facturation pour les rapports et les articles ayant échoué

Les informations de facturation suivantes s'appliquent à la production d'articles en vrac :

  • Stockage des rapports — Les objets de rapport dans Amazon S3 sont facturés aux tarifs de stockage Amazon S3 standard.

  • Articles ayant échoué — Les éléments rejetés par validation avant une tentative d'écriture dans un tableau ne sont pas mesurés ni facturés comme des écritures dans un tableau. Les articles qui arrivent dans la table et qui échouent à une vérification de condition sont mesurés au fur et à mesure de la rédaction du tableau et facturés. Une vérification de l'état d'un élément manquant est signalée sous la forme de 1 024 octets de la table de base. Service-side les tentatives infructueuses qui ne produisent pas de résultat d'écriture ou de vérification de l'état ne sont pas mesurées.

Autorisations pour le compartiment de sortie

DynamoDB lit l'entrée et génère le rapport et le manifeste avec les informations d'identification du principal IAM qui appelle StartBulkPutItems. Vous n'accordez pas l'accès à un principal de service DynamoDB. Les compartiments d'entrée et de sortie peuvent être dans différents AWS comptes, et le compartiment d'entrée peut se trouver dans un autre AWS Région d'après le tableau. Pour connaître les autorisations minimales requises, voir Autorisations IAM. Les articles en vrac ne nécessitent pas s3:PutObjectAcl (il ne définit aucune ACL sur les objets en sortie), de sorte que sa politique de compartiment de sortie est plus étroite que celle utilisée pour l'exportation de DynamoDB vers Amazon S3.

Si le compartiment de sortie utilise un chiffrement côté serveur avec un AWS KMS clé, vous pouvez spécifier l'algorithme de chiffrement et l'ID de clé à l'aide de S3SseAlgorithm et S3SseKmsKeyId paramètres dans OutputS3Configuration.

Compréhension BulkOperationUsage

Le DescribeBulkOperation la réponse inclut un BulkOperationUsage champ qui indique les octets écrits pour chaque destination. Ce champ correspond à votre facture. Les opérations groupées signalent l'utilisation via BulkOperationUsage plutôt que par le biais du ConsumedCapacity champ renvoyé par des opérations au niveau de l'élément telles que PutItem.

L'exemple suivant montre la structure de BulkOperationUsage:

"BulkOperationUsage": [{ "TableName": "Orders", "BulkPutBytes": 1792000, "Table": {"BulkPutBytes": 1024000}, "LocalSecondaryIndexes": {"lsi1": {"BulkPutBytes": 256000}}, "GlobalSecondaryIndexes": {"gsi1": {"BulkPutBytes": 512000}}, "VectorIndexes": {"vec1": {"BulkPutVectorBytes": 42000}} }]

Chaque écriture d'index est mesurée indépendamment. Les éléments rejetés par validation n'ajoutent aucun octet à BulkOperationUsage. Les articles placés en bloc mettent automatiquement à jour les index secondaires globaux et les index secondaires locaux pendant l'opération. Il n'est pas nécessaire de prendre des mesures supplémentaires.

Important

Le plus haut niveau BulkPutBytes le total couvre les écritures dans les tables et les index secondaires. Les écritures d'index vectoriel sont mesurées séparément dans BulkPutVectorBytes, dans le VectorIndexes carte, conformément à la façon dont PutItem mètres de capacité vectorielle. Ajouter BulkPutVectorBytes pour BulkPutBytes pour le total total.