Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés. # Comportamientos de iceberg para la tabla de streaming Utilice este tema para obtener información sobre cómo la tabla de streaming mapea los datos de los AWS Glue esquemas de Schema Registry a las tablas de Apache Iceberg, incluida la asignación de tipos, el manejo de campos, el mantenimiento de las tablas y las especificaciones de formato. ## AWS Glue Mapeo del tipo Schema Registry a Iceberg La tabla de streaming mapea los tipos de esquemas JSON del registro de AWS Glue esquemas a los tipos de Apache Iceberg, como se muestra en la siguiente tabla. | Tipo de esquema JSON | Tipo Iceberg | Notas | | --- | --- | --- | | string(simple) | string | Mapeo de cadenas predeterminado. | | stringcon formato date-time | timestamptz | Marca de tiempo con zona horaria. | | stringcon formato date | date | Fecha del calendario. | | stringcon formato time | time | Hora del día. | | stringcon formato uuid | uuid | Identificador universal único. | | stringcon codificación byte o base64 | binary | Datos binarios codificados como base64. | | integer(32 bits o menos) | int | Valores con un máximo o un máximo exclusivo <= 2^31. | | integer(superior a 32 bits) | long | Valores que superan el rango de 32 bits. | | number por multipleOf | decimal | Fixed-point decimal con precisión derivada de multipleOf. | | number(simple) | double | Punto flotante de doble precisión IEEE 754. | | boolean | boolean | Verdadero o falso. | | objectcon propiedades nombradas | struct | Los campos con nombre asignado se asignan a campos de estructura. | | object por additionalProperties | map | Key-value mapa con teclas de cadena. | | array | list | Colección ordenada de elementos. | | enum | string | Los valores de enumeración se almacenan como cadenas. | ## Columnas obligatorias Los campos que aparecen en la `required` matriz del esquema JSON se convierten en columnas obligatorias (no anulables) en la tabla Iceberg. Si falta un campo obligatorio en un registro, el registro se envía a la cola de letra muerta. ## Columna clave de partición La tabla debe incluir una `timestamptz` columna que pueda usarse para particionar por hora en función del tiempo (la `TIME_HOUR` transformación). En el AWS Glue esquema de registro de esquemas, se trata de un `string` campo con el `date-time` formato correspondiente al tipo Iceberg`timestamptz`. La columna de origen a la que hace referencia la partición se marca automáticamente como obligatoria, independientemente de si aparece en la `required` matriz del esquema. Los registros a los que les falta el valor de la clave de partición se envían a la cola de letras muertas. Puede habilitar un trabajo de caducidad de registros de Amazon S3 Tables en función de la columna de particiones de la tabla. Para obtener más información, consulte [Expiración del registro](#data-delivery-iceberg-record-expiration). ## Manejo de campos La tabla de transmisión gestiona las discrepancias entre los registros entrantes y el esquema de la tabla Iceberg de la siguiente manera: + **Campos adicionales**: los campos presentes en el registro pero no definidos en el esquema se eliminan y no se escriben en la tabla Iceberg. + **Faltan campos opcionales: los** campos opcionales que no están presentes en el registro se escriben como `null` en la tabla Iceberg. + **Faltan campos obligatorios**: si falta un campo obligatorio en un registro, todo el registro se envía a la cola de letra muerta. ## Límite de anidación La tabla de transmisión admite una profundidad de anidación máxima de 16 niveles para tipos complejos (estructuras, mapas y listas). Los esquemas que superen los 16 niveles de anidación se rechazan en el momento de la creación de la entrega. ## Propiedades de las tablas administradas Streaming table gestiona automáticamente las propiedades de la tabla Iceberg. Estas propiedades se establecen al crear la tabla y no se deben modificar externamente. La tabla de transmisión usa estas propiedades para controlar el comportamiento de escritura, la compactación y la administración de metadatos. Dado que Amazon Kinesis Data Streams administra la tabla, no debe actualizar su esquema, modificar las propiedades de la tabla ni escribir o eliminar sus datos directamente. Puede consultar la tabla con los servicios de AWS análisis y cualquier motor de consultas Apache Iceberg compatible. Para obtener más información sobre los cubos de tabla gestionados, consulte [Uso de los cubos de tabla AWS gestionados](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-aws-managed-buckets.html) en la Guía del *usuario de Amazon S3*. ## Mantenimiento de Tablas de S3 Al realizar envíos a tablas de streaming en Apache Iceberg respaldadas por S3 Tables, las siguientes operaciones de mantenimiento se gestionan automáticamente: + **Compactación**: los archivos de datos pequeños se compactan periódicamente en archivos más grandes para mejorar el rendimiento de las consultas y reducir la sobrecarga de metadatos. + **Vencimiento** de las instantáneas: las instantáneas caducadas se limpian para recuperar el almacenamiento de metadatos y reducir el tamaño de los metadatos de las tablas. + **Limpieza de archivos sin referencia**: los archivos de datos huérfanos a los que ya no hace referencia ninguna instantánea se eliminan para recuperar el espacio de almacenamiento. ## Expiración del registro Puede configurar un período de caducidad de registros para su tabla Iceberg. Cuando está habilitada, Amazon S3 Tables elimina automáticamente los registros anteriores al período de retención especificado durante las operaciones de mantenimiento, en función de la columna de `timestamptz` particiones de la tabla. Para obtener más información, consulte [Gestión de la caducidad de registros de Amazon S3 Tables](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-record-expiration.html) en la *Guía del usuario de Amazon S3*. ## Especificaciones de formato La tabla de transmisión utiliza las siguientes especificaciones de formato para las tablas Iceberg: + **Versión en formato Iceberg**: v2 + Versión con **especificaciones de Iceberg — 1.9.0** + **Formato de archivo**: Apache Parquet