View a markdown version of this page

Ausgabe und Abstimmung von Massenartikeln - Amazon DynamoDB

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Ausgabe und Abstimmung von Massenartikeln

Wenn ein Bulk-Put-Vorgang für Artikel abgeschlossen ist, gibt DynamoDB einen Bericht an den Amazon S3-Bucket aus, den Sie in angegeben haben Gibt die S3-Konfiguration aus. Dieser Bericht enthält Details zu Artikeln, die nicht geschrieben wurden.

Berichtstypen

Wenn Sie den Vorgang starten, wird OutputType Der Parameter gibt an, welche Kategorien von Elementen im Bericht erscheinen. Sie können einen oder beide der folgenden Typen anfordern.

OutputType Wert Inhalt
ERROR Elemente, die aus deterministischen Gründen wie Validierungsfehlern fehlgeschlagen sind (z. B. ein Element, das die maximale Artikelgröße überschreitet, oder ein fehlendes erforderliches Schlüsselattribut).
CONDITION_CHECK_FAILURE Artikel, deren Bedingungsausdruck pro Artikel nicht erfüllt wurde. Zum Beispiel ein attribute_not_exists(id) Bedingung, die fehlgeschlagen ist, weil das Element bereits in der Tabelle vorhanden ist.

Zählt von DescribeBulkOperation

Das DescribeBulkOperation Die Antwort liefert die folgenden Zählungen:

  • ProcessedItemCount — Die Anzahl der während des Vorgangs gelesenen Eingabedatensätze, einschließlich der Datensätze, bei denen die Validierung oder die Zustandsprüfung nicht bestanden haben. Dies ist die Anzahl der gelesenen Datensätze, nicht der geschriebenen Elemente.

  • FailedItemCount — Die Anzahl der Elemente, bei denen aus deterministischen Gründen ein Fehler aufgetreten ist, z. B. aufgrund von Validierungsfehlern. Condition-check Fehler sind in dieser Anzahl nicht enthalten.

Wichtig

Condition-check Fehler werden nicht als separate Zählung in der DescribeBulkOperation Antwort. Informationen zum Auffinden dieser Artikel finden Sie unter Ergebnisse abgleichen.

Ergebnisse abgleichen

Gehen Sie wie folgt vor, um sich ein vollständiges Bild Ihrer Betriebsergebnisse zu machen:

  1. Rufen Sie an DescribeBulkOperation bis der Status lautet COMPLETED, COMPLETED_WITH_ERRORS, CANCELLED, oder FAILED. Rekord ProcessedItemCount und FailedItemCount.

  2. Listet alle Objekte auf, die beginnen mit output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id. Dies gibt das Manifest und jede Berichtsdatei zurück. Wenn kein Manifest existiert, überprüfen Sie FailureCode. Lesen Sie das Manifest. Überprüfen Sie für jedes Eingabeobjekt fileProcessingStatus und processedRanges, und bestätige das etag entspricht Ihrem Objekt. Lesen Sie dann jede Berichtsdatei. Um diese Objekte aufzulisten und zu lesen, benötigt der Anrufer s3:ListBucket und s3:GetObject auf dem Ausgabe-Bucket. Die Beispiel-Schreibrichtlinie gewährt diese Leseberechtigungen nicht.

  3. Verwenden Sie den Amazon S3-Bericht, um bestimmte Elemente zu identifizieren, bei denen Maßnahmen erforderlich sind, z. B. das Korrigieren fehlerhafter Elemente und das erneute Einreichen dieser Elemente oder die Überprüfung von Artikeln, die eine Zustandsprüfung nicht bestanden haben.

Für den Massenversand von Artikeln sind diese Leseberechtigungen nicht erforderlich. Erteilen Sie sie in einer separaten Anweisung an den Prinzipal, der die Ergebnisse überprüft.

Dieser Ansatz (API-Anzahl plus Amazon S3-Berichtsanalyse) ermöglicht Ihnen den genauesten Abgleich. Die API bietet eine allgemeine Zusammenfassung, und der Amazon S3-Bericht enthält die Details pro Artikel.

Manifestdatei

Zusätzlich zu den Berichtsdateien gibt DynamoDB eine Manifestdatei an den Ausgabespeicherort aus. Das Manifest meldet den Verarbeitungsstatus jedes Eingabeobjekts, sodass Sie feststellen können, welche Eingabeobjekte nicht oder nur teilweise verarbeitet wurden. DynamoDB gibt das Manifest an den folgenden Pfad aus:

s3://output-bucket/output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id/manifest-files.json

Das Manifest enthält ein JSON-Objekt pro Eingabeobjekt. Das Manifest besteht aus unkomprimierten JSON-Zeilen. Die Berichtsdateien sind gzip-komprimiert. Jedes Objekt hat die folgenden Felder:

  • EingangSourceArn — Identifiziert das Eingabeobjekt in Amazon S3.

  • OrdnerProcessingStatus — Wie vollständig DynamoDB dieses Objekt verarbeitet hat.

  • Verarbeitete Bereiche — Die Bereiche der Elementindizes, die DynamoDB verarbeitet hat, als Array von [start, end] Paare. Das Array ist leer, wenn DynamoDB keine Datensätze verarbeitet hat, und für ein Eingabeobjekt, das keine Elemente enthält.

  • Tag — Das Entitäts-Tag des Eingabeobjekts.

• Das fileProcessingStatus Das Feld nimmt einen der folgenden Werte an:

  • VOLLSTÄNDIG_VERARBEITET — DynamoDB hat jedes Element im Objekt verarbeitet. Für ein Objekt ohne Elemente processedRanges ist leer.

  • TEIL_VERARBEITET — DynamoDB hat nicht jedes Element im Objekt verarbeitet. processedRanges zeigt den verarbeiteten Bereich an und kann leer sein, z. B. wenn der erste Datensatz nicht analysiert werden kann.

  • NICHT_VERARBEITET — Der Vorgang wurde beendet, bevor DynamoDB dieses Objekt erreichte, z. B. weil der Vorgang abgebrochen wurde, fehlgeschlagen ist oder ein Timeout aufgetreten ist. DynamoDB gibt das Manifest erst aus, nachdem der Vorgang beendet ist. Dieser Status bedeutet also nie, dass das Objekt noch auf die Verarbeitung wartet.

  • NICHT_VERFÜGBAR — DynamoDB konnte nicht genau bestätigen, wie viel von diesem Objekt verarbeitet wurde. Daher meldet es keine Bereiche und keine Risikoberichterstattung für Elemente, die verarbeitet wurden, als sie nicht verarbeitet wurden. Behandeln Sie das Objekt als nicht vollständig verarbeitet.

Das folgende Beispiel zeigt eine Zeile pro Statuswert. Jede Zeile ist ein einzelnes JSON-Objekt.

{"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/customers-done.json.gz","fileProcessingStatus":"FULLY_PROCESSED","processedRanges":[[0,9999]],"etag":"9b2cf535f27731c974343645a3985328"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/orders-partial.json.gz","fileProcessingStatus":"PARTIALLY_PROCESSED","processedRanges":[[0,4999]],"etag":"8f14e45fceea167a5a36dedd4bea2543"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/inventory-queued.json.gz","fileProcessingStatus":"NOT_PROCESSED","processedRanges":[],"etag":"c9f0f895fb98ab9159f51fd0297e236d"} {"inputSourceArn":"arn:aws:s3:::amzn-s3-demo-bucket/bulk-input/placeholder-not-available.json.gz","fileProcessingStatus":"NOT_AVAILABLE","processedRanges":[],"etag":"45c48cce2e2d7fbdea1afc51c7c6ad26"}

In der FULLY_PROCESSED Beispiel, der Bereich [0,9999] steht für ein Objekt, dessen 10.000 Elemente alle verarbeitet wurden. In der PARTIALLY_PROCESSED Beispiel, der Bereich [0,4999] bedeutet, dass die Elemente 0 bis 4999 verarbeitet wurden und der Rest nicht.

Verwenden Sie das Manifest, um Eingabeobjekte zu identifizieren, die nicht oder nur teilweise verarbeitet wurden. Dies unterscheidet sich von einzelnen Elementen, bei denen ein Fehler aufgetreten ist oder deren Bedingung nicht erfüllt wurde. Diese Elemente werden in der Ausgabe pro Element gemeldet. Weitere Informationen zur Ausgabe pro Artikel finden Sie unter Berichtstypen.

Layout der Ausgabedatei

DynamoDB gibt beispielsweise ein Verzeichnis pro internem Job aus output-prefix/AWSDynamoDB/BulkOperation/account-id:operation-id-n/output/errors/output-NNNNN.json.gz, mit einem passenden condition-check-failures/ Verzeichnis. Ausgabedateien sind mit Gzip komprimierte JSON-Zeilen. DynamoDB schließt jede Ausgabedatei bei 200 MiB und startet eine neue, sodass Ausgabedateien angezeigt werden können, während der Vorgang noch läuft IN_PROGRESS.

Zu den Berichtsaufzeichnungen gehören itemLocation und errorMessages. itemLocation enthält inputSourceArn und itemIndex. itemIndex kann fehlen, z. B. wenn ein abgeschnittener Datensatz DynamoDB daran hindert, den Rest des Objekts zu lesen. Condition-check-failure Zu den Datensätzen gehören auch newImage und oldImage, sodass die Ausgabe der Zustandsprüfung größer sein kann als die darin beschriebene Eingabe. ERROR Datensätze können weggelassen werden newImage, zum Beispiel für ein Element, das die maximale Elementgröße überschreitet, oder für einen Datensatz mit einem ungültigen Bedingungsoperanden. DynamoDB gibt nur dann eine Datei für einen angeforderten Berichtstyp aus, wenn mindestens ein Element zu diesem Typ gehört. Wenn S3BucketOwner stimmt nicht mit dem Besitzer des Ausgabe-Buckets überein, der Vorgang schlägt fehl und es wird kein Bericht oder Manifest ausgegeben. Ein Vorgang, der fehlschlägt mit ResourceInUseException weil ein anderer Vorgang für die Tabelle gerade ausgeführt wird, wird kein Manifest oder Bericht ausgegeben.

Abrechnung für Berichte und fehlgeschlagene Artikel

Die folgenden Rechnungsdetails gelten für die Massenausgabe von Artikeln:

  • Speicher melden — Berichtsobjekte in Amazon S3 werden zu den Amazon S3-Standardspeicherpreisen in Rechnung gestellt.

  • Fehlgeschlagene Artikel — Elemente, die bei der Überprüfung abgelehnt wurden, bevor versucht wurde, eine Tabelle zu schreiben, werden nicht als Tabellen-Schreibvorgänge abgerechnet oder abgerechnet. Artikel, die die Tabelle erreichen und eine Zustandsprüfung nicht bestehen, werden als Schreibvorgänge in der Tabelle bewertet und in Rechnung gestellt. Eine Zustandsprüfung für ein fehlendes Element wird als 1.024 Byte der Basistabelle gemeldet. Service-side Fehlversuche, die zu keinem Ergebnis beim Schreiben oder bei der Bedingungsprüfung führen, werden nicht gemessen.

Berechtigungen für den Ausgabe-Bucket

DynamoDB liest die Eingabe und gibt den Bericht und das Manifest mit den Anmeldeinformationen des IAM-Prinzipals aus, der aufruft StartBulkPutItems. Sie gewähren einem DynamoDB-Serviceprinzipal keinen Zugriff. Die Eingabe- und Ausgabe-Buckets können unterschiedlich sein AWS Konten und der Eingabe-Bucket können sich in einem anderen befinden AWS Region aus der Tabelle. Die erforderlichen Mindestberechtigungen finden Sie unter IAM-Berechtigungen. Für Artikel in großen Mengen ist nichts erforderlich s3:PutObjectAcl (es legt keine ACL für Ausgabeobjekte fest), daher ist seine Output-Bucket-Richtlinie enger gefasst als die, die für den DynamoDB-Export nach Amazon S3 verwendet wird.

Wenn der Ausgabe-Bucket eine serverseitige Verschlüsselung mit einem verwendet AWS KMS Schlüssel, Sie können den Verschlüsselungsalgorithmus und die Schlüssel-ID mithilfe des S3SseAlgorithm und S3SseKmsKeyId Parameter in OutputS3Configuration.

Verstehen BulkOperationUsage

Das DescribeBulkOperation Die Antwort beinhaltet eine BulkOperationUsage Feld, das die für jedes Ziel geschriebenen Bytes meldet. Dieses Feld entspricht Ihrer Rechnung. Bei Massenoperationen wird die Nutzung wie folgt gemeldet BulkOperationUsage statt durch den ConsumedCapacity Feld, das von Vorgängen auf Elementebene zurückgegeben wird, z. B. PutItem.

Das folgende Beispiel zeigt die Struktur von BulkOperationUsage:

"BulkOperationUsage": [{ "TableName": "Orders", "BulkPutBytes": 1792000, "Table": {"BulkPutBytes": 1024000}, "LocalSecondaryIndexes": {"lsi1": {"BulkPutBytes": 256000}}, "GlobalSecondaryIndexes": {"gsi1": {"BulkPutBytes": 512000}}, "VectorIndexes": {"vec1": {"BulkPutVectorBytes": 42000}} }]

Jeder Index-Schreibvorgang wird unabhängig gemessen. Bei der Validierung abgelehnte Elemente fügen keine Byte hinzu BulkOperationUsage. Bulk Put Items aktualisiert globale Sekundärindizes und lokale Sekundärindizes automatisch während des Vorgangs. Sie müssen keine zusätzlichen Schritte unternehmen.

Wichtig

Die oberste Ebene BulkPutBytes Die Gesamtzahl deckt Schreibvorgänge in Tabellen und sekundären Indexen ab. Schreibzugriffe auf Vektorindizes werden separat gemessen BulkPutVectorBytes, in der VectorIndexes Karte, im Einklang mit dem PutItem Meter Vektorkapazität. Hinzufügen BulkPutVectorBytes zu BulkPutBytes für die komplette Summe.