View a markdown version of this page

Crea una tabella di distribuzione in streaming - Flusso di dati Amazon Kinesis
Utilizzo di Console di gestione AWSUtilizzo di AWS CLI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Crea una tabella di distribuzione in streaming

Crea una distribuzione che invia continuamente i record da un flusso Amazon Kinesis Data Streams a una tabella di streaming su Apache Iceberg supportata da un bucket di tabelle S3. Puoi creare una consegna con o. Console di gestione AWS AWS CLI Quando crei una distribuzione, Amazon Kinesis Data Streams crea la tabella Iceberg di destinazione nel bucket di tabella specificato.

Nota

Prima di creare una consegna, completa i prerequisiti inGuida introduttiva alle tabelle di streaming, incluso il ruolo di esecuzione del servizio IAM descritto in. Autorizzazioni IAM per la consegna dei dati La distribuzione di una tabella di streaming richiede uno AWS Glue schema in Schema Registry e una coda di lettere non scritte.

Utilizzo di Console di gestione AWS

  1. Apri la console Kinesis all'indirizzo. https://console.aws.amazon.com/kinesis

  2. Nel pannello di navigazione, scegli Tabelle di streaming, quindi scegli Crea tabella di streaming.

  3. Fase 1: Configurazione del codice sorgente. In Dettagli di consegna, inserisci un nome di consegna. I caratteri accettabili sono lettere maiuscole e minuscole, numeri, caratteri di sottolineatura, trattini e punti. Per Source, scegli lo stream da cui effettuare la trasmissione. On-Demand Vengono visualizzati solo On-Demand gli stream. Scegli Avanti.

  4. Fase 2: Configurazione della destinazione. In Configurazione di conversione dei record, scegli un formato di conversione dei record:

    • JSON: record JSON convalidati rispetto a uno schema in AWS Glue Schema Registry. Fornisci lo schema ARN nel registro Glue Schema.

    • Glue Schema registry JSON: converte i record utilizzando uno AWS Glue schema JSON di Schema Registry.

    Per il registro Glue Schema, specificate lo schema ARN o scegliete Sfoglia per selezionarne uno.

  5. In Tabella di destinazione, specifica dove Amazon Kinesis Data Streams crea la tabella Iceberg:

    • S3 table bucket ARN — l'ARN del table bucket S3. Scegli Browse S3 per selezionarne uno.

    • Namespace: lo spazio dei nomi per la tabella (solo lettere minuscole, numeri e caratteri di sottolineatura).

    • Nome tabella: il nome della tabella da creare.

    • Nome della colonna: il nome di un campo data-ora dello schema utilizzato per partizionare la tabella per ora. Il campo deve essere un campo stringa con il formato data-ora dello schema.

    • Tipo di compressione: scegli ZSTD, Snappy o Nessuno.

    • Freschezza dei dati: il tempo massimo di buffering in secondi prima della consegna dei record (minimo 300, massimo 900).

    Scegli Avanti.

  6. Fase 3: Configurazione aggiuntiva. Configura quanto segue, quindi scegli Avanti:

    • Configurazione della crittografia: per impostazione predefinita, i dati vengono crittografati con la crittografia Amazon S3 predefinita. Per utilizzare una chiave gestita dal cliente, seleziona Personalizza le impostazioni di crittografia (avanzate).

    • Accesso al servizio: per l'ARN del ruolo IAM, scegli o crea il ruolo IAM che concede l'accesso alla destinazione. Scegli Create IAM role per crearne uno.

    • Coda di lettere morte: per l'URI del bucket S3, scegli il bucket Amazon S3 che memorizza i record non consegnabili. Se lo desideri, imposta un prefisso di output per gli errori del bucket S3.

    • Consegna dei log: opzionalmente seleziona Deliver to Amazon CloudWatch Logs per acquisire la diagnostica della consegna.

    • Tag: aggiungi opzionalmente tag chiave-valore per identificare e organizzare la spedizione.

  7. Fase 4: Rivedi e crea. Controlla la configurazione, quindi scegli Crea tabella di streaming. La consegna passa da CREATING a ACTIVE dopo il completamento del provisioning.

Utilizzo di AWS CLI

Utilizzate il create-channel comando per creare una tabella di distribuzione in streaming. Questa configurazione richiede uno schema tratto da AWS Glue Schema Registry e una coda di lettere non scritte: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::111122223333:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:111122223333:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:111122223333:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::amzn-s3-demo-dlq-bucket",
            "ExpectedBucketOwner": "111122223333",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

Il comando restituisce il canale ARN ()ChannelARN. Utilizzatelo con describe-channel per verificare che la consegna raggiunga lo stato ATTIVO. Consulta Descrivi la distribuzione di una tabella di streaming.

Riferimento all'API: CreateChannel consulta il riferimento all'API Amazon Kinesis Data Streams.