Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CDC-Datensätze verstehen

Aurora DSQL CDC liefert jede Änderung als JSON-Datensatz. Der Datensatz verwendet eine Hüllstruktur mit Operationstyp, Bildern vor und nach der Zeile und Quellmetadaten.

So werden Datensätze Amazon Kinesis zugeordnet

Aurora DSQL schreibt jeden CDC-Datensatz als einen einzelnen Kinesis-Datensatz. Das Data Feld des Kinesis-Datensatzes enthält die JSON-Nutzlast. Aurora DSQL verwendet einen randomisierten Kinesis-Partitionsschlüssel, um CDC-Datensätze gleichmäßig auf Shards zu verteilen. Um alle Änderungen zu lesen, verwenden Sie alle Shards im Kinesis-Datenstrom. Wenn ein Datensatz die Größenbeschränkung für Kinesis-Datensätze überschreitet, teilt Aurora DSQL ihn auf mehrere Kinesis-Datensätze auf. Details hierzu finden Sie unter Umgang mit übergroßen Datensätzen.

Primärschlüssel in der Payload

Bei Tabellen mit einem Primärschlüssel erscheinen die Werte der Primärschlüsselspalte in der Payload:

Stellen Sie sich zum Beispiel eine Tabelle mit einem zusammengesetzten Primärschlüssel vor:

CREATE TABLE order_items (
    order_id INT,
    item_id INT,
    quantity INT,
    price NUMERIC,
    PRIMARY KEY (order_id, item_id)
);

Ein Löschen dieser Tabelle erzeugt eine Nutzlast, wo"before": {"order_id": 1001, "item_id": 42}.

Nutzlast aufzeichnen

Die Nutzlast verwendet das folgende JSON-Umschlagformat.

INSERT-Beispiel

Das folgende Beispiel zeigt einen CDC-Datensatz für einen Einfügevorgang:

{
    "type": "full",
    "op": "c",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 5, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

Beispiel „UPDATE“

Das folgende Beispiel zeigt, wie ein durch eine UPDATE Anweisung erzeugter CDC-Datensatz aussehen wird, nachdem Aurora DSQL mit der Ausgabe beginnt: op: "u"

{
    "type": "full",
    "op": "u",
    "before": null,
    "after": {"order_id": 1001, "item_id": 42, "quantity": 10, "price": "29.99"},
    "source": {
        "version": "1.0",
        "ts_ms": 1705318300000,
        "ts_ns": 1705318300000000000,
        "txId": "qvtiesgmd55cvlfukm3dfuotji",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318300125,
    "ts_ns": 1705318300125483291
}

Beispiel LÖSCHEN

Bei Löschungen in Tabellen mit einem Primärschlüssel enthält das before Feld die Primärschlüsselwerte der gelöschten Zeile:

{
    "type": "full",
    "op": "d",
    "before": {"order_id": 1001, "item_id": 42},
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318400000,
        "ts_ns": 1705318400000000000,
        "txId": "xyzabc123def456ghi789jklmno",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "kmabugltfmjdaj2siqr2qbxgju"
    },
    "ts_ms": 1705318400125,
    "ts_ns": 1705318400125483291
}

Payload-Felder

Einzelheiten formatieren

Die folgenden Details beschreiben, wie Aurora DSQL CDC Datensätze formatiert. Entwerfen Sie Ihre App so, dass sie mit diesen Verhaltensweisen umgehen kann.

Umgang mit übergroßen Datensätzen

Wenn das serialisierte JSON eines CDC-Datensatzes 9 MiB überschreitet, teilt Aurora DSQL die before and/or after Bilder auf und liefert mehrere Kinesis-Datensätze. Jeder Datensatz enthält ein type Feld der obersten Ebene, das seine Struktur angibt: full für einen vollständigen Datensatz, für einen Hauptdatensatz, der auf Fragmente verweist, und chunked fragment für einen einzelnen Teil eines abgeschnittenen Bildes. Die ts_ns Felderop, sourcets_ms, und in einem aufgeteilten Hauptdatensatz verhalten sich genauso wie in einem vollständigen Datensatz. Datensätze, die in einen einzelnen Kinesis-Datensatz passen, sind auf type eingestellt full und erfordern keine zusätzliche Bearbeitung.

A chunk_id ist bei Wiederholungsversuchen stabil. Wenn Aurora DSQL ein Fragment erneut zustellt, überträgt es dasselbe chunk_id wie die ursprüngliche Lieferung, sodass Ihre App unter derselben Kennung weiter puffern kann, ohne Teilsätze aus früheren Versuchen zu verarbeiten.

Hauptdatensatz

Ein aufgeteilter Hauptdatensatz ersetzt die oberste Ebene before oder das after Feld für das geteilte Bild durch ein chunked Objekt, das beschreibt, wie es wieder zusammengesetzt wird. Jeder Eintrag darunter chunked hat eine chunk_id (die Kennung, die Fragmente mit diesem Datensatz verknüpft), total_fragments (die Anzahl der Fragmente, aus denen das Bild besteht) und crc32c (eine CRC32C-Prüfsumme als Dezimalzeichenfolge über dem wieder zusammengesetzten Bildtext). Wenn ein Bild inline ist und das andere in Blöcke aufgeteilt ist, erscheint das Inline-Bild immer noch auf der obersten Ebene entweder als Wert oder. null

{
    "type": "chunked",
    "op": "c",
    "before": null,
    "after": null,
    "source": {
        "version": "1.0",
        "ts_ms": 1705318200000,
        "ts_ns": 1705318200000000000,
        "txId": "ffthunp5stx6ffs2vyfqoatmfu",
        "schema": "public",
        "table": "order_items",
        "db": "postgres",
        "cluster": "cluster-id"
    },
    "chunked": {
        "after": {
            "chunk_id": "chunk-id",
            "total_fragments": 3,
            "crc32c": "2073618257"
        }
    },
    "ts_ms": 1705318200125,
    "ts_ns": 1705318200125483291
}

Datensatz fragmentieren

Jedes Fragment ist ein eigener type Kinesis-Datensatz mit einer Einstellung chunked.after.chunk_id auf fragment und drei Feldern: chunk_id entspricht dem Wert im entsprechenden Datensatz chunked.before.chunk_id oder im Hauptdatensatz, index ist die nullbasierte Position des Fragments innerhalb des Bildes und data ist ein Segment des JSON-Textes des Bildes, das nach UTF-8 Zeichengrenzen aufgeteilt ist (der data Wert jedes Fragments ist für sich genommen eine gültige UTF-8 Zeichenfolge). Da Aurora DSQL CDC UNORDERED Modus- und randomisierte Partitionsschlüssel verwendet, können Fragmente und der Hauptdatensatz auf unterschiedlichen Shards und in beliebiger Reihenfolge ankommen. Um alle Fragmente zu lesen, verbrauchen Sie alle Shards im Kinesis-Datenstrom. Weitere Informationen zur Bestellung von Lieferungen finden Sie unter. Bestellung

{
    "type": "fragment",
    "chunk_id": "chunk-id",
    "index": 0,
    "data": "partial-JSON-text"
}

Um ein übergroßes Bild wieder zusammenzusetzen, puffern Sie jeden Datensatz type fragment einzeln. chunk_id Wenn Sie einen Hauptdatensatz mit erhalten typechunked, warten Sie, bis Sie total_fragments Fragmente für jeden Datensatz haben, auf den unter chunked.before oder chunk_id verwiesen wirdchunked.after, sortieren Sie die Fragmente index aufsteigend und verketten Sie die Zeichenketten. data Das verkettete Ergebnis ist das Original before oder das after Objekt als JSON-Text. Analysieren Sie es, um auf die Spaltenwerte zuzugreifen. Um die Integrität der Lieferung zu überprüfen, berechnen Sie CRC32C anhand der verketteten Zeichenfolge und vergleichen Sie das Ergebnis mit oder. chunked.before.crc32c chunked.after.crc32c

Serialisierung des Datentyps

In den folgenden Tabellen wird beschrieben, wie Aurora DSQL jeden PostgreSQL-Datentyp in CDC-Datensätzen serialisiert.

Ganzzahl-Typen

Werte bigint über ±2^53 können in Umgebungen an Genauigkeit verlieren. JavaScript Verwenden Sie in BigInt diesen Fällen Bibliotheken oder Bibliotheken mit beliebiger Genauigkeit.

Floating-point Typen

Boolesch

Zeichentypen

Binär

Typen für Datum und Uhrzeit

Andere Typen

NULL-Werte

Für jeden Datentyp werden NULL Spaltenwerte als JSON dargestelltnull.

Schemaentwicklung in CDC-Datensätzen

Wenn Sie das Schema einer Tabelle ändern, z. B. indem Sie eine Spalte hinzufügen, löschen oder umbenennen, spiegeln die CDC-Datensätze die Änderung ab der Transaktion wider, die die DDL-Änderung festgeschrieben hat. Datensätze von Transaktionen, die vor der DDL-Änderung festgeschrieben wurden, verwenden das vorherige Schema. Beispiel:

Verfolgen Sie Schemaänderungen in Ihrem Downstream-Consumer, indem Sie die Spaltennamen überprüfen, die in den einzelnen Datensätzen und Feldern vorhanden sindafter. before Das source.version Feld in jedem Datensatz identifiziert das CDC-Umschlagformat.