View a markdown version of this page

Crea una entrega de tablas de streaming - Amazon Kinesis Data Streams
Uso de Consola de administración de AWSUso de AWS CLI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crea una entrega de tablas de streaming

Cree una entrega que envíe registros de forma continua desde una transmisión de Amazon Kinesis Data Streams a una tabla de streaming en Apache Iceberg respaldada por un bucket de tablas de S3. Puede crear una entrega con Consola de administración de AWS o con. AWS CLI Al crear una entrega, Amazon Kinesis Data Streams crea la tabla Iceberg de destino en el grupo de tablas que especifique.

nota

Antes de crear una entrega, complete los requisitos previosPrimeros pasos con las tablas de streaming, incluida la función de ejecución del servicio de IAM que se describe en. Permisos de IAM para la entrega de datos La entrega de una tabla de streaming requiere un esquema en el registro de AWS Glue esquemas y una cola de texto sin salida.

Uso de Consola de administración de AWS

  1. Abra la consola Kinesis en. https://console.aws.amazon.com/kinesis

  2. En el panel de navegación, elija Tablas de streaming y, a continuación, elija Crear tabla de streaming.

  3. Paso 1: Configuración de la fuente. En Detalles de entrega, introduce un nombre de entrega. Los caracteres aceptables son letras mayúsculas y minúsculas, números, guiones bajos y puntos. En Fuente, selecciona la transmisión desde la que quieres realizar la entrega. On-Demand Solo se muestran las On-Demand transmisiones. Elija Siguiente.

  4. Paso 2: Configuración del destino. En Configuración de conversión de registros, elija un formato de conversión de registros:

    • JSON: registros JSON que se validan con un AWS Glue esquema de Schema Registry. Proporcione el ARN del esquema en el registro de Glue Schema.

    • Registro JSON de Glue Schema: convierte registros mediante un AWS Glue esquema JSON de Schema Registry.

    Para el registro de Glue Schema, especifique el ARN del esquema o elija Examinar para seleccionar uno.

  5. En la tabla de destinos, especifique dónde Amazon Kinesis Data Streams crea la tabla Iceberg:

    • ARN del cucharón de mesa S3: el ARN del cucharón de mesa S3. Elija Browse S3 para seleccionar uno.

    • Espacio de nombres: el espacio de nombres de la tabla (solo letras minúsculas, números y guiones bajos).

    • Nombre de la tabla: el nombre de la tabla que se va a crear.

    • Nombre de columna: el nombre de un campo de fecha y hora del esquema utilizado para dividir la tabla por horas. El campo debe ser un campo de cadena con el formato de fecha y hora del esquema.

    • Tipo de compresión: elija ZSTD, Snappy o None.

    • Actualización de los datos: el tiempo máximo de almacenamiento en búfer en segundos antes de que se entreguen los registros (mínimo 300, máximo 900).

    Elija Siguiente.

  6. Paso 3: Configuración adicional. Configure lo siguiente y, a continuación, seleccione Siguiente:

    • Configuración de cifrado: de forma predeterminada, los datos se cifran con el cifrado predeterminado de Amazon S3. Para usar una clave administrada por el cliente, seleccione Personalizar la configuración de cifrado (avanzada).

    • Acceso al servicio: para el ARN del rol de IAM, elija o cree el rol de IAM que otorga acceso al destino. Seleccione Crear rol de IAM para crear uno.

    • Cola de mensajes sin procesar: para el URI del bucket de S3, elija el bucket de Amazon S3 que almacena los registros que no se pueden entregar. Si lo desea, defina un prefijo de salida de error del bucket de S3.

    • Entrega de registros: si lo desea, seleccione Entregar a Amazon CloudWatch Logs para capturar los diagnósticos de entrega.

    • Etiquetas: si lo desea, añada etiquetas con valores clave para identificar y organizar la entrega.

  7. Paso 4: Revisa y crea. Revise la configuración y, a continuación, elija Crear tabla de streaming. La entrega pasa de CREATING a ACTIVE una vez finalizado el aprovisionamiento.

Uso de AWS CLI

Utilice el create-channel comando para crear una entrega de tablas de streaming. Esta configuración requiere un AWS Glue esquema de Schema Registry y una cola de letra muerta: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::111122223333:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:111122223333:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:111122223333:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::amzn-s3-demo-dlq-bucket",
            "ExpectedBucketOwner": "111122223333",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:111122223333:bucket/amzn-s3-demo-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

El comando devuelve el ARN del canal ()ChannelARN. Úselo con describe-channel para verificar que la entrega alcance el estado ACTIVO. Consulte Describa la entrega de una tabla de streaming.

Referencia de la API: consulte CreateChannel la referencia de la API de Amazon Kinesis Data Streams.