View a markdown version of this page

Erstellen Sie eine Streaming-Tabellenlieferung - Amazon Kinesis Data Streams
Verwendung der AWS-ManagementkonsoleVerwendung der AWS CLI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen Sie eine Streaming-Tabellenlieferung

Erstellen Sie eine Lieferung, die kontinuierlich Datensätze von einem Amazon Kinesis Data Streams Streams-Stream an eine Streaming-Tabelle auf Apache Iceberg sendet, die von einem S3-Tabellen-Bucket unterstützt wird. Sie können eine Lieferung mit dem AWS-Managementkonsole oder dem erstellen. AWS CLI Wenn Sie eine Lieferung erstellen, erstellt Amazon Kinesis Data Streams die Iceberg-Zieltabelle in dem von Ihnen angegebenen Tabellen-Bucket.

Anmerkung

Bevor Sie eine Lieferung erstellen, müssen Sie die Voraussetzungen unter erfüllenErste Schritte mit Streaming-Tabellen, einschließlich der unter beschriebenen Rolle für die Ausführung des IAM-Services. IAM-Berechtigungen für die Datenbereitstellung Für die Bereitstellung von Streaming-Tabellen sind ein Schema in der AWS Glue Schemaregistrierung und eine Warteschlange mit unlesbaren Buchstaben erforderlich.

Verwendung der AWS-Managementkonsole

  1. Öffnen Sie die Kinesis-Konsole unterhttps://console.aws.amazon.com/kinesis.

  2. Wählen Sie im Navigationsbereich Streaming-Tabellen und anschließend Streaming-Tabelle erstellen aus.

  3. Schritt 1: Quellkonfiguration. Geben Sie unter Lieferdetails einen Namen für die Lieferung ein. Zulässige Zeichen sind Groß- und Kleinbuchstaben, Zahlen, Unterstriche, Bindestriche und Punkte. Wählen Sie unter Quelle den Stream aus, aus dem die Übertragung erfolgen soll On-Demand. Es werden nur On-Demand Streams angezeigt. Wählen Sie Weiter aus.

  4. Schritt 2: Zielkonfiguration. Wählen Sie unter Konfiguration der Datensatzkonvertierung ein Format für die Datensatzkonvertierung aus:

    • JSON — JSON-Datensätze, die anhand eines Schemas in der AWS Glue Schemaregistry validiert wurden. Geben Sie den Schema-ARN in der Glue-Schema-Registrierung an.

    • Glue Schema Registry JSON — Konvertiert Datensätze mit einem AWS Glue Schema Registry JSON-Schema.

    Geben Sie für die Glue-Schema-Registrierung den Schema-ARN an, oder wählen Sie Durchsuchen, um einen auszuwählen.

  5. Geben Sie unter Zieltabelle an, wo Amazon Kinesis Data Streams die Iceberg-Tabelle erstellt:

    • S3-Tabellen-Bucket ARN — der ARN des S3-Tabellen-Buckets. Wählen Sie Browse S3, um einen auszuwählen.

    • Namespace — der Namespace für die Tabelle (nur Kleinbuchstaben, Zahlen und Unterstriche).

    • Tabellenname — der Name der zu erstellenden Tabelle.

    • Spaltenname — der Name eines Datums- und Uhrzeitfeldes aus Ihrem Schema, das verwendet wird, um die Tabelle nach Stunden zu partitionieren. Bei dem Feld muss es sich um ein Zeichenfolgenfeld mit dem Datums- und Uhrzeitformat im Schema handeln.

    • Komprimierungstyp — wählen Sie STD, Snappy oder None.

    • Datenaktualität — die maximale Pufferzeit in Sekunden, bevor Datensätze geliefert werden (mindestens 300, maximal 900).

    Wählen Sie Weiter aus.

  6. Schritt 3: Zusätzliche Konfiguration. Konfigurieren Sie Folgendes und wählen Sie dann Weiter:

    • Verschlüsselungskonfiguration — Daten werden standardmäßig mit der Amazon S3 S3-Standardverschlüsselung verschlüsselt. Um einen vom Kunden verwalteten Schlüssel zu verwenden, wählen Sie Verschlüsselungseinstellungen anpassen (erweitert).

    • Dienstzugriff — Wählen oder erstellen Sie für die IAM-Rolle ARN die IAM-Rolle, die Zugriff auf das Ziel gewährt. Wählen Sie „IAM-Rolle erstellen“, um eine zu erstellen.

    • Warteschlange für unzustellbare Briefe — Wählen Sie für den S3-Bucket-URI den Amazon S3 S3-Bucket aus, in dem unzustellbare Datensätze gespeichert sind. Legen Sie optional ein Ausgabepräfix für einen S3-Bucket-Fehler fest.

    • Protokollzustellung — Wählen Sie optional An Amazon CloudWatch Logs versenden, um Lieferdiagnosen zu erfassen.

    • Tags — Fügen Sie optional Key-Value-Tags hinzu, um Ihre Sendung zu identifizieren und zu organisieren.

  7. Schritt 4: Überprüfen und erstellen. Überprüfen Sie Ihre Konfiguration und wählen Sie dann Streaming-Tabelle erstellen. Die Bereitstellung wechselt von CREATING zu ACTIVE, nachdem die Bereitstellung abgeschlossen ist.

Verwendung der AWS CLI

Verwenden Sie den create-channel Befehl, um eine Streaming-Tabellenlieferung zu erstellen. Für diese Konfiguration sind ein Schema aus der AWS Glue Schemaregistry und eine Warteschlange mit unerlaubten Buchstaben erforderlich: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::111122223333:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:111122223333:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:111122223333:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::amzn-s3-demo-dlq-bucket",
            "ExpectedBucketOwner": "111122223333",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

Der Befehl gibt den Kanal ARN (ChannelARN) zurück. Verwenden Sie ihn zusammendescribe-channel, um zu überprüfen, ob die Lieferung den Status ACTIVE erreicht. Siehe Beschreiben Sie eine Streaming-Tabellenlieferung.

API-Referenz — siehe CreateChannel Amazon Kinesis Data Streams API-Referenz.