Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Einen Bulk-Out-Vorgang für Artikel ausführen
Sie geben einen Amazon S3-Speicherort für Eingabedateien und eine Zieltabelle an. DynamoDB meldet Elemente, die nicht in einen von Ihnen angegebenen Ausgabe-Bucket geschrieben werden konnten. Sie wählen aus, was der Ausgabebericht enthält, über OutputType Parameter: Anfrage ERROR für Artikel, bei denen die Überprüfung fehlgeschlagen ist, CONDITION_CHECK_FAILURE für Artikel, die ihre Bedingungen nicht erfüllten, oder beide.
Sie können einen Massenversand von Artikeln ausführen, indem Sie AWS CLI oder der AWS SDKs. Um das zu verwenden AWS CLI, installieren Sie es zuerst und konfigurieren Sie es mit Ihrem AWS Anmeldeinformationen. Weitere Informationen finden Sie unter Zugreifen auf DynamoDB.
Ändern Sie die Amazon S3-Objekte nicht, während der Vorgang ausgeführt wird. Das Ändern von Eingabeobjekten kann dazu führen, dass der Vorgang fehlschlägt.
Themen
Starten eines Massen-Put-Vorgangs für Artikel
Um einen Massenversand von Artikeln zu starten, rufen Sie StartBulkPutItems und geben Sie die folgenden erforderlichen Eingaben ein:
-
TableName — Der Name oder ARN der Zieltabelle. Die Tabelle muss
ACTIVE, oderUPDATINGmit einer Änderung, die nicht mit Massen-Schreibvorgängen in Konflikt steht. Details hierzu finden Sie unter Tabelle: Anforderungen. -
Gibt die S3-Konfiguration ein — Der Amazon S3-Speicherort Ihrer Eingabedateien. Sie müssen Folgendes angeben S3-Bucket und InputFormat. Geben Sie optional an S3BucketOwner, S3KeyPrefix, und InputCompressionType.
-
Konfiguration der Ausgänge 3 — Der Amazon S3-Standort für den Ausgabebericht. Sie müssen
S3BucketundOutputTypeangeben. Eine Ausgangskonfiguration ist erforderlich.
Die folgenden optionalen Parameter sind ebenfalls verfügbar:
-
PerformanceTier — Wählen Sie
STANDARD(Standard) oderACCELERATED. Der Standard eignet sich für die meisten Operationen, bei denen die Fertigstellungszeit flexibel ist. Accelerated wurde für Workloads entwickelt, bei denen die Fertigstellungszeit strenger ist und ein höherer Durchsatz als Standard angestrebt wird, sodass große Operationen schneller abgeschlossen werden können. Weitere Informationen finden Sie unter Leistungsstufen. -
MaxWriteRequestUnits — Im Zusammenhang mit Massenoperationen MaxWriteRequestUnits ist die maximale Anzahl von Schreibanforderungseinheiten pro Sekunde, mit der der Massenvorgang schreiben kann. Das Limit gilt für die Gesamtzahl der Schreibanforderungseinheiten, die der Vorgang für die Tabelle und alle ihre Indizes verbraucht. Bei einer Tabelle mit zwei globalen sekundären Indizes, die beide das Element projizieren, ermöglicht ein Limit von 1.024 beispielsweise etwa 340 Elemente mit 1 KB pro Sekunde. Es sollte verwendet werden, wenn Downstream-Operationen ausgeführt werden, die auf höhere Schreibdurchsätze empfindlich reagieren. Diese Einstellung gilt nur für den Massenvorgang und hat keinen Bezug zur bereitgestellten oder bedarfsgesteuerten Kapazität der Tabelle. Der Mindestwert ist 1.024.
-
ClientToken — Ein Idempotenz-Token. Wenn Sie eine Anfrage mit demselben Client-Token wiederholen, gibt DynamoDB den vorhandenen Vorgang zurück, anstatt einen neuen zu erstellen. DynamoDB bewahrt das Token 8 Stunden lang auf.
Unterstützte Eingabeformate
InputFormat akzeptiert die folgenden Werte:
DYNAMODB_JSONION
InputCompressionType akzeptiert die folgenden Werte:
GZIPZSTDNONE
Ausgabetypen
OutputType ist eine Liste und Sie können einen oder beide der folgenden Berichtstypen anfordern:
ERROR— Stellt einen Bericht über die Elemente bereit, bei denen aus deterministischen Gründen, wie z. B. bei Validierungsfehlern, ein Fehler aufgetreten ist.CONDITION_CHECK_FAILURE— Stellt einen Bericht über die Elemente bereit, deren Bedingungsausdruck pro Artikel nicht erfüllt wurde.
Einen Vorgang starten (AWS CLI)
Das folgende Beispiel startet einen Bulk-Put-Vorgang für Elemente, der DynamoDB-JSON-Dateien aus einem Amazon S3-Bucket liest und den Bericht in einem separaten Bucket ausgibt.
aws dynamodb start-bulk-put-items \ --table-name MusicCollection \ --input-s3-configuration '{ "S3Bucket": "amzn-s3-demo-bucket", "S3KeyPrefix": "daily/", "InputFormat": "DYNAMODB_JSON", "InputCompressionType": "NONE" }' \ --output-s3-configuration '{ "OutputType": ["ERROR"], "S3Bucket": "amzn-s3-demo-bucket1", "S3KeyPrefix": "bulk-put-items-output/" }' \ --performance-tier STANDARD
Eine Operation starten (Python)
Das folgende Beispiel verwendet AWS SDK für Python (Boto3), um einen Bulk-Put-Vorgang für Artikel zu starten.
import boto3 client = boto3.client("dynamodb") response = client.start_bulk_put_items( TableName="MusicCollection", InputS3Configuration={ "S3Bucket": "amzn-s3-demo-bucket", "S3KeyPrefix": "daily/", "InputFormat": "DYNAMODB_JSON", "InputCompressionType": "NONE", }, OutputS3Configuration={ "S3Bucket": "amzn-s3-demo-bucket1", "OutputType": ["ERROR", "CONDITION_CHECK_FAILURE"], }, PerformanceTier="STANDARD", ) bulk_operation_arn = response["BulkOperationDescription"]["BulkOperationArn"] print(f"Started operation: {bulk_operation_arn}")
Überwachen des Fortschritts
Rufen Sie an DescribeBulkOperation um den Fortschritt eines Massenversands von Artikeln zu überwachen. Drei Felder melden den Fortschritt:
-
ProcessedItemCount — Die Anzahl der bisher gelesenen Eingabedatensätze, einschließlich der Datensätze, bei denen die Überprüfung oder Zustandsprüfung nicht bestanden hat. Dies ist die Anzahl der gelesenen Datensätze, nicht der geschriebenen Elemente.
-
ProcessedInputBytes — Die Anzahl der bisher von Amazon S3 gelesenen und verarbeiteten Byte.
-
TotalInputBytes — Die Gesamtgröße aller Eingabeobjekte in Amazon S3.
Um den Fortschritt abzuschätzen, vergleichen Sie ProcessedInputBytes zu TotalInputBytes. Zum Beispiel, wenn Ihre Eingabe insgesamt 50 GB beträgt und ProcessedInputBytes zeigt 35 GB an, der Vorgang ist zu etwa 70 Prozent abgeschlossen.
TotalInputBytes fehlt in der Antwort, bis DynamoDB bei der ersten Eingabeüberprüfung die Gesamtsumme berechnet. Die Berechnungszeit hängt von den Betriebs- und Betriebsbedingungen ab. Umfrage DescribeBulkOperation bis das Feld vorhanden ist.
Die Fortschrittsfelder werden regelmäßig aktualisiert und können zu unterschiedlichen Zeiten aktualisiert werden. Sie sind keine Live-Zähler. Verlassen Sie sich nicht auf ein festes Aktualisierungsintervall.
Statuswerte
Das BulkOperationStatus Das Feld gibt einen der folgenden Werte zurück:
IN_PROGRESS— Die Operation besteht darin, Eingaben zu lesen und Elemente zu schreiben.COMPLETED— Alle Eingaben wurden gelesen undFailedItemCountist 0. Artikel können immer noch eine Zustandsprüfung nicht bestanden haben. Wenn Sie es angefordert haben, lesen Sie dasCONDITION_CHECK_FAILUREmelde dich, um sie zu finden.COMPLETED_WITH_ERRORS— Alle Eingaben wurden gelesen undFailedItemCountist über 0. Überprüfen Sie dasERRORBericht.CANCELLING— Ein Stornierungsantrag wird gestellt.CANCELLED— Der Vorgang wurde als Antwort auf eine Stornierungsanfrage gestoppt. Bereits geschriebene Elemente verbleiben in der Tabelle.CANCELLEDbedeutet nicht, dass Daten fehlen. Das Abschlussmanifest zeichnet auf, was verarbeitet wurde.FailureCodeistRequestCancelled.FAILED— Der Vorgang konnte nicht abgeschlossen werden. Sehen Sie sich den Fehlercode an.
Wenn ein Vorgang die maximale Verarbeitungszeit überschreitet, stoppt DynamoDB die Aufnahme und der Vorgang wird beendet FAILED mit Fehlercode Timeout und die Meldung „Der Massenvorgang hat die maximal zulässige Verarbeitungszeit überschritten.“ Ein Timeout ist ein erwartetes Ergebnis für eine sehr große Eingabe oder für einen Vorgang, dessen Geschwindigkeit Sie auf Folgendes begrenzen MaxWriteRequestUnits, und nicht ein Fehler. Bereits geschriebene Elemente bleiben in der Tabelle, und im Abschlussmanifest wird aufgezeichnet, wie weit jedes Objekt verarbeitet wurde, sodass Sie den Rest erneut einreichen können. Erhöhen MaxWriteRequestUnits in der StartBulkPutItems Wenn Sie die Eingabe aufrufen oder in mehrere Objekte aufteilen, verringert sich die Wahrscheinlichkeit eines Timeouts.
In der folgenden Tabelle sind die Fehlercodes aufgeführt, die ein FAILED Operation kann melden.
| Fehlercode | Ursache | Vorgehensweise |
|---|---|---|
|
Der Vorgang hat die maximale Verarbeitungszeit überschritten |
Reichen Sie den Rest aus dem Abschlussmanifest erneut ein |
|
Ein Fehler hat DynamoDB daran gehindert, ein Eingabeobjekt zu lesen, und DynamoDB konnte nicht bestätigen, dass alle gespeicherten Eingabebytes gelesen wurden |
Korrigieren Sie den Datensatz und senden Sie ihn dann erneut mit den Datensätzen außerhalb |
|
Ein Eingabeobjekt überschreitet 5 GB |
Teilen Sie das Objekt auf |
|
Mehr als 50.000 Eingabeobjekte |
Reduzieren Sie die Anzahl der Objekte oder fordern Sie eine Erhöhung des Kontingents an |
|
Gesamteingabe, die das Limit pro Anfrage übersteigt (100 GB für Standard, 1 TB für Accelerated) |
Teilen Sie die Eingabe auf oder verwenden Sie Accelerated |
|
Ein Eingabeobjekt hat sich während des Laufs geändert |
Lassen Sie die Eingabeobjekte unverändert, während der Vorgang ausgeführt wird |
|
DynamoDB konnte keinen verwenden AWS KMS-Schlüssel für die Tabelle oder die Amazon S3-Objekte während des Vorgangs |
Überprüfen Sie den Schlüsselstatus und die Schlüsselberechtigungen des Aufrufers |
|
DynamoDB wurde der Zugriff auf den Eingabe- oder Ausgabespeicherort in Amazon S3 verweigert. Dieser Code tritt auch auf, wenn |
Überprüfen Sie die Amazon S3-Berechtigungen des Anrufers, die Bucket-Richtlinie und |
|
Ein weiterer Vorgang auf derselben Tabelle wurde bereits gestartet |
Warten Sie, bis der Vorgang abgeschlossen ist, und beginnen Sie dann erneut |
|
Die Tabelle wurde nicht gefunden oder es konnte nicht darauf zugegriffen werden |
Überprüfen Sie den Tabellennamen und den Status |
|
Der Aufrufer ist nicht mehr berechtigt, in die Tabelle zu schreiben |
Wiederherstellen |
|
Eine Elementsammlung in einer Tabelle mit einem lokalen sekundären Index hat die Größenbeschränkung überschritten |
Reduzieren Sie die Daten für diesen Partitionsschlüsselwert |
Wenn DynamoDB das Abschlussmanifest nicht am Ausgabespeicherort ausgeben kann, wird der Vorgang beendet. FAILED selbst wenn jedes Element geschrieben wurde. Die Fehlermeldung beginnt mit „Manifest ist nicht verfügbar“. und der Fehlercode identifiziert zum Beispiel die Ursache S3AccessDenied. Bereits geschriebene Artikel bleiben in der Tabelle. Überprüfen Sie das Amazon S3 des Anrufers und AWS KMS-Berechtigungen für das Ausgabepräfix und vergleichen Sie dann die Tabelle mit Ihrer Eingabe, um herauszufinden, was geschrieben wurde.
Beschreibung einer Operation (AWS CLI)
aws dynamodb describe-bulk-operation \ --bulk-operation-arn arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/01759414677739-041d6d92
Eine Operation beschreiben (Python)
import boto3 client = boto3.client("dynamodb") response = client.describe_bulk_operation( BulkOperationArn="arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/01759414677739-041d6d92" ) status = response["BulkOperationDescription"]["BulkOperationStatus"] processed_items = response["BulkOperationDescription"].get("ProcessedItemCount", 0) processed_bytes = response["BulkOperationDescription"].get("ProcessedInputBytes", 0) total_bytes = response["BulkOperationDescription"].get("TotalInputBytes") print(f"Status: {status}") print(f"Items processed: {processed_items}") if total_bytes: pct = (processed_bytes / total_bytes) * 100 print(f"Progress: {pct:.1f}%")
Auflisten von Massenoperationen
Rufen Sie an ListBulkOperations um eine paginierte Liste von Massenoperationen in Ihrem Konto abzurufen. Jede Seite gibt maximal 25 Operationen zurück.
Operationen auflisten (AWS CLI)
aws dynamodb list-bulk-operations
Die AWS CLI paginiert automatisch und druckt alle verfügbaren Seiten. Um manuell zu blättern, schalten Sie die automatische Paginierung aus und verwenden Sie --max-items mit --starting-token.
aws dynamodb list-bulk-operations \ --max-items 25 \ --starting-token "token-from-a-previous-NextToken"
Operationen auflisten (Python)
import boto3 client = boto3.client("dynamodb") paginator = client.get_paginator("list_bulk_operations") for page in paginator.paginate(): for op in page["BulkOperationsSummaryList"]: print(f"{op['BulkOperationArn']} - {op['BulkOperationStatus']}")
Einen Vorgang abbrechen
Rufen Sie an CancelBulkOperation um einen laufenden Vorgang zu stoppen. Die Operation geht über zu CANCELLING und dann zu CANCELLED.
Artikel, die bereits vor der Stornierung geschrieben wurden, sind nicht zurückgerollt. Sie bleiben in der Tabelle und sind sofort lesbar.
Solange der Status lautet CANCELLING, die Fortschrittszähler können niedriger als die Endwerte sein. Warte CANCELLED bevor du deine Ergebnisse überprüfst. Im Manifest hat ein teilweise verarbeitetes Objekt den Status PARTIALLY_PROCESSED, und processedRanges listet die Datensätze auf, die DynamoDB verarbeitet hat. Aufzeichnungen außerhalb processedRanges wurden nicht verarbeitet. Reichen Sie sie erneut ein, zusammen mit allen Datensätzen aus dem ERROR melden Sie, dass Sie es korrigiert haben.
Einen Vorgang stornieren (AWS CLI)
aws dynamodb cancel-bulk-operation \ --bulk-operation-arn arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/01759414677739-041d6d92
Einen Vorgang abbrechen (Python)
import boto3 client = boto3.client("dynamodb") client.cancel_bulk_operation( BulkOperationArn="arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/01759414677739-041d6d92" ) print("Cancellation requested. Items already written remain in the table.")
Parallelität und Kontingente
Die Kontingente, die für den Massenversand von Artikeln gelten, finden Sie unter Artikel in großen Mengen lagern.
Sie können keinen Bulk-Put-Vorgang für Elemente für eine Tabelle starten, die einen Index erstellt. Wenn Sie versuchen, dies zu tun, wird eine zurückgegeben ResourceInUseException.
In einer Tabelle kann jeweils nur ein Masseneingabevorgang ausgeführt werden. Wenn ein anderer Vorgang für die Tabelle gerade ausgeführt wird, StartBulkPutItems gibt einen zurück ResourceInUseException. Wenn Sie mehrere Operationen an derselben Tabelle gleichzeitig starten, kann jeder Aufruf einen ARN zurückgeben. Eine Operation wird dann ausgeführt, und die anderen schlagen fehl mit FailureCode ResourceInUseException. anrufen DescribeBulkOperation um zu bestätigen, dass Ihr Betrieb läuft. Um mehrere Tabellen gleichzeitig zu laden, starten Sie einen Vorgang für jede Tabelle.