Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überlegungen, Kontingente und Berechtigungen für das Bulk-Put von Artikeln
In diesem Thema werden die Kontingente, IAM-Berechtigungen und Funktionsinteraktionen behandelt, die für Amazon DynamoDB-Massenvorgänge mit Artikeln gelten. Lesen Sie sich diese Einschränkungen durch, bevor Sie einen Massenversand von Artikeln starten.
Kontingente
Für Operationen zur Masseneingabe von Elementen gelten Kontingente für gleichzeitige Vorgänge, aktive Operationen pro Tabelle, Gesamteingabegröße sowie Anzahl und Größe der Eingabeobjekte. Informationen zu den Werten und wie DynamoDB sie durchsetzt, finden Sie unter Kontingente für Artikel, die in großen Mengen versendet.
Tabelle: Anforderungen
Um einen Massenversand von Artikeln zu starten, muss sich die Zieltabelle im ACTIVE Bundesstaat oder im UPDATING Status für eine Änderung, die nicht mit Massenschreibvorgängen in Konflikt steht. Sie können keinen Vorgang starten, während die Tabelle einen sekundären Index erstellt. Sie können auch keinen starten, während die Tabelle zu oder von einer globalen Tabelle wechselt oder aus einer Sicherung wiederhergestellt wird.
Globale Tabellen
Bulk Put Items unterstützt keine globalen Tabellen.
Beachten Sie die folgenden Einschränkungen:
Sie können keinen Bulk-Put-Vorgang für Elemente für eine Tabelle starten, die Teil einer globalen Tabelle ist.
Sie können einer Tabelle, in der gerade ein Bulk-Put-Vorgang für Elemente ausgeführt wird, kein Replikat hinzufügen.
Wenn Ihre Arbeitslast das Schreiben von Daten in eine globale Tabelle erfordert, verwenden Sie BatchWriteItem oder individuell PutItem Operationen stattdessen.
Vektor-Indizes
Sie können Bulk-Put-Elemente verwenden, um Daten in Tabellen aufzunehmen, die über einen Vektorindex verfügen, indem Sie die Standard-Performance-Stufe verwenden. Die Performance-Stufe „Accelerated“ ist für diese Tabellen nicht verfügbar, und bei deren Anforderung schlägt die Überprüfung fehl.
DynamoDB misst Vektorindex-Bytes getrennt von Tabellen- und Sekundärindex-Bytes.
Sekundäre Indizes
Bulk-Put-Elemente aktualisieren globale Sekundärindizes (GSIs) und lokale Sekundärindizes (LSIs) automatisch während eines Vorgangs. Sie müssen keine zusätzlichen Schritte unternehmen, um Daten in Ihre Indizes zu übertragen.
Jeder Index-Schreibvorgang wird unabhängig gemessen. Die in die einzelnen GSI und LSI geschriebenen Byte werden auf die Nutzung Ihrer Bulk-Put-Artikel angerechnet.
Abbruch
Sie können einen Bulk-Put-Vorgang für Artikel abbrechen, indem Sie CancelBulkOperation. Wenn Sie einen Vorgang abbrechen, passiert Folgendes:
Elemente, die bereits in die Tabelle geschrieben wurden, bleiben an ihrem Platz und können sofort gelesen werden. DynamoDB macht keine Elemente rückgängig, die vor der Stornierung geschrieben wurden.
Der Betriebsstatus wechselt zu
CANCELLINGund dannCANCELLED.
Abrechnung für fehlerhafte Artikel
Artikel, die bei der Überprüfung abgelehnt wurden, bevor versucht wurde, eine Tabelle zu schreiben, werden nicht als Tabellenschreibvorgänge in Rechnung gestellt. Artikel, die die Tabelle erreichen und eine Zustandsprüfung nicht bestehen, werden in Rechnung gestellt. Die vollständigen Rechnungsdetails finden Sie unter Abrechnung für Berichte und fehlgeschlagene Artikel.
Streams
In einer Tabelle, in der DynamoDB-Streams oder ein Kinesis-Datenstream aktiviert sind, erzeugt jeder Bulk-Schreibvorgang einen Stream-Datensatz, der mit der Schreibrate des Vorgangs bereitgestellt wird. Elemente, die eine Zustandsprüfung nicht bestehen, erzeugen keinen Stream-Datensatz. Verbraucher, die für normalen Traffic ausgelegt sind, können ins Hintertreffen geraten. DynamoDB Streams speichert Aufzeichnungen 24 Stunden lang, sodass ein Verbraucher, der mehr als 24 Stunden hinterherhinkt, Datensätze verliert. Verwenden MaxWriteRequestUnits in der StartBulkPutItems Aufruf zur Begrenzung der Schreibrate des Massenbetriebs und zum Schutz nachgeschalteter Verbraucher.
Kennzahlen und Einblicke von Mitwirkenden
Massen-Schreibvorgänge erscheinen nicht in der Tabelle ConsumedWriteCapacityUnits Metrik oder in Contributor Insights, weil sie keine Kapazität verbrauchen. Verwenden Sie während einer Operation DescribeBulkOperation und die Amazon S3-Ausgabe, um Fortschritte und Fehler zu verfolgen, anstatt die der Tabelle CloudWatch Metriken.
Gleichzeitige Schreibvorgänge auf dieselben Schlüssel
Während eines Vorgangs kann DynamoDB einige Datensätze nach einem internen Failover ein zweites Mal schreiben. Bei jedem wiederholten Schreibvorgang wird der Bedingungsausdruck des Datensatzes verwendet, sodass ein Versionsschutz für jeden Datensatz verhindert, dass ein wiederholter Schreibvorgang neuere Daten ersetzt. Wenn Ihre Anwendung während der Ausführung eines Vorgangs in dieselben Schlüssel schreibt, kann ein wiederholter Massenschreibvorgang ohne Bedingung einen neueren Anwendungsschreibvorgang überschreiben. Um solche Schlüssel zu schützen, fügen Sie jedem Element ein Versionsattribut hinzu und verwenden Sie einen Bedingungsausdruck (z. B. attribute_not_exists(#v) OR #v < :new), sodass ein wiederholter Schreibvorgang einen neueren Wert nicht überschreiben kann.
Cross-account Zugriff
Der Anrufer muss im Konto der Tabelle sein. Cross-account Anrufer werden beim Starten, Beschreiben und Abbrechen gesperrt. Für einen Amazon S3-Bucket in einem anderen Konto setzen Sie S3BucketOwner. DynamoDB sendet x-amz-expected-bucket-owner, wobei standardmäßig das Konto des Anrufers verwendet wird. DynamoDB verwendet die Anmeldeinformationen des Anrufers, um auf Amazon S3 zuzugreifen, sodass der Principal des Anrufers, kein DynamoDB-Serviceprinzipal, Bucket-Zugriff benötigt.
Wenn ein anderes Konto einen Bucket besitzt, müssen sowohl die Identitätsrichtlinie des Anrufers als auch die Bucket-Richtlinie den Zugriff zulassen.
Um Eingaben von einem anderen Konto zu lesen:
-
Fügen Sie in der Identitätsrichtlinie des Anrufers den Quell-Bucket hinzu
AllowS3ReadInput. -
Fügen Sie im Konto des Bucket-Besitzers eine Bucket-Richtlinie hinzu, die dem Anrufer Folgendes gewährt
s3:ListBucketauf dem Bucket unds3:GetObjectauf dem Eingabepräfix. -
In
InputS3Configuration, eingestelltS3BucketOwnerauf die Konto-ID des Bucket-Besitzers.
Um Ergebnisse an ein anderes Konto auszugeben:
-
Stellen Sie im Ausgabe-Bucket die Option Object Ownership auf Bucket owner enforced ein. Der Bucket-Besitzer ist dann Eigentümer der Berichts- und Manifestobjekte.
-
Erlauben Sie in der Identitätsrichtlinie des Anrufers
s3:PutObjectunds3:AbortMultipartUploadauf dem Ausgabepräfix. -
Fügen Sie im Konto des Bucket-Besitzers eine Bucket-Richtlinie hinzu, die dem Aufrufer dieselben zwei Aktionen mit demselben Präfix gewährt.
-
In
OutputS3Configuration, eingestelltS3BucketOwnerauf die Konto-ID des Bucket-Besitzers.
Mit dieser Richtlinie kann der Bucket-Besitzer die Ausgabe lesen, der Anrufer nicht. Condition-check Berichtsdatensätze enthalten das vorhandene Tabellenelement (oldImage), sodass der Besitzer des Ausgabe-Buckets diese Daten lesen kann.
Wenn S3BucketOwner ist falsch, StartBulkPutItems gibt immer noch eine Operations−ARN zurück. DynamoDB kann Elemente in die Tabelle schreiben, bevor der Vorgang fehlschlägt mit S3AccessDenied, und es gibt keinen Bericht oder Manifest aus.
Das folgende Beispiel zeigt eine Output-Bucket-Richtlinie. Ersetzen Sie TABLE_ACCOUNT_ID, ROLE_NAME, OUTPUT_BUCKET und OUTPUT_PREFIX durch Ihre eigenen Werte.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::TABLE_ACCOUNT_ID:role/ROLE_NAME" }, "Action": ["s3:PutObject", "s3:AbortMultipartUpload"], "Resource": "arn:aws:s3:::OUTPUT_BUCKET/OUTPUT_PREFIX/*" } ] }
Cross-Region Eimer
Ein Eingabe- oder Ausgabe-Bucket in einem anderen AWS Für die Region fallen regionsübergreifende Datenübertragungskosten an. Wenn diese Region beeinträchtigt ist, verlangsamt sich der Vorgang oder stoppt, bis das Zeitlimit überschritten wird. Verwenden Sie Buckets in der Region der Tabelle, wenn Sie können.
AWS KMS Verschlüsselung
S3SseKmsKeyId ist erforderlich wenn S3SseAlgorithm ist KMS, und wird abgelehnt, wenn S3SseAlgorithm ist AES256. S3SseAlgorithm ist erforderlich, wenn Sie eine Schlüssel-ID angeben. Für eine Tabelle, die mit einem vom Kunden verwalteten Schlüssel verschlüsselt wurde, benötigt der Anrufer kms:Decrypt auf diesem Schlüssel. Wenn der Anrufer es nicht hat, StartBulkPutItems gibt eine zurück AccessDeniedException und kein Vorgang beginnt.
CloudTrail
AWS CloudTrail protokolliert die StartBulkPutItems mit dem Namen des Ereignisses anrufen StartBulkOperation und Ressourcentyp AWS::DynamoDB::BulkOperation. Schreibvorgänge einzelner Elemente werden nicht protokolliert.
DynamoDB Accelerator (DAX)
Massenschreibvorgänge umgehen DAX, sodass im DAX zwischengespeicherte Elemente veraltet bleiben, bis ihre DAX-TTL abläuft. Planen Sie dies ein, wenn der Tabelle DAX vorangestellt ist.
IAM-Berechtigungen
Für den Massenversand von Artikeln sind die folgenden IAM-Aktionen erforderlich. Eine Mindestrichtlinie muss alle fünf enthalten, da eine Richtlinie, die nur die Startaktionen gewährt, einen Vorgang starten, ihn aber nicht überwachen oder abbrechen kann. In der folgenden Tabelle sind diese Aktionen aufgeführt.
| Action | Scope | Description |
|---|---|---|
dynamodb:StartBulkOperation |
bulk-operation/* |
Erforderlich, um einen Massenversand von Artikeln zu starten. Beim Startaufruf werden auch die Tags und die ressourcenbasierten Richtlinien der Zieltabelle ausgewertet. |
dynamodb:BulkPutItems |
Die Zieltabelle | Erforderlich, um während eines Masseneingabevorgangs Elemente in die Zieltabelle zu schreiben. |
dynamodb:DescribeBulkOperation |
Die Operation ARN | Erforderlich, um einen Vorgang zu überwachen. |
dynamodb:CancelBulkOperation |
Die Operation ARN | Erforderlich, um einen Vorgang abzubrechen. |
dynamodb:ListBulkOperations |
bulk-operation/* |
Erforderlich, um Operationen aufzulisten. |
Zusätzlich zu den DynamoDB-Aktionen der IAM-Prinzipal, der aufruft StartBulkPutItems benötigt die Amazon S3-Berechtigungen in der Beispielrichtlinie. Informationen zu Buckets in einem anderen Konto finden Sie unter Cross-account Zugriff. Der Eingabe-Bucket kann sich auch in einer anderen Region als der Tabelle befinden.
DynamoDB überprüft die Berechtigungen des Anrufers erneut, während der Vorgang ausgeführt wird. Wenn der Anrufer verliert dynamodb:BulkPutItems auf dem Tisch, oder AWS KMS Zugriff auf den vom Kunden verwalteten Schlüssel der Tabelle, der Vorgang wird beendet FAILED mit DynamoDBAccessDeniedException oder KmsAccessDeniedException. Bereits geschriebene Artikel bleiben in der Tabelle. Behalten Sie die Berechtigungen des Anrufers bei, bis der Vorgang beendet ist.
DynamoDB unterstützt Massenoperationen an verschlüsselten Tabellen und unterstützt auch das Lesen aus verschlüsselten Datenquellen und die Übertragung der Fehlerausgabe an verschlüsselte Amazon S3-Buckets.
Beispiel für eine IAM-Richtlinie
Die folgende IAM-Richtlinie gewährt die Mindestberechtigungen, die für die Ausführung eines Bulk-Put-Vorgangs für Artikel erforderlich sind. Ersetzen Sie die Platzhalterwerte durch Ihre Konto-ID, Region, Tabellennamen und Bucket-Namen.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowStartBulkOperation", "Effect": "Allow", "Action": "dynamodb:StartBulkOperation", "Resource": "arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/*" }, { "Sid": "AllowBulkPutItems", "Effect": "Allow", "Action": "dynamodb:BulkPutItems", "Resource": "arn:aws:dynamodb:us-east-1:111122223333:table/MyTable" }, { "Sid": "AllowManageBulkOperations", "Effect": "Allow", "Action": [ "dynamodb:DescribeBulkOperation", "dynamodb:CancelBulkOperation", "dynamodb:ListBulkOperations" ], "Resource": "arn:aws:dynamodb:us-east-1:111122223333:bulk-operation/*" }, { "Sid": "AllowS3ReadInput", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Sid": "AllowS3WriteOutput", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:AbortMultipartUpload" ], "Resource": "arn:aws:s3:::amzn-s3-demo-bucket1/*" } ] }
Wenn Sie verwenden AWS KMS Verschlüsselung der Amazon S3-Objekte oder der DynamoDB-Tabelle, fügen Sie der Richtlinie die folgenden Berechtigungen hinzu. Zum Lesen aus einer verschlüsselten Tabelle oder zum Schreiben in eine verschlüsselte Tabelle benötigt der Aufrufer dasselbe AWS KMS dokumentierte Berechtigungen für PutItem auf verschlüsselten Tabellen. Ersetzen your-kms-key-id mit der ID Ihres AWS KMS Schlüssel:
{ "Sid": "AllowKMSAccess", "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": "arn:aws:kms:us-east-1:111122223333:key/your-kms-key-id" }