View a markdown version of this page

Características de Apache Iceberg v3 en Amazon Redshift - Amazon Redshift

Amazon Redshift dejará de admitir la creación de UDF de Python después del 30 de junio de 2026. Empezaremos a aplicarlo por fases. Para obtener más información sobre los detalles del fin de vida de Python y las opciones de migración, consulte la entrada del blog que se publicó el 30 de junio de 2025.

Características de Apache Iceberg v3 en Amazon Redshift

Amazon Redshift admite tablas de Apache Iceberg v3. Iceberg v3 presenta valores de columna predeterminados, rastreo del linaje de filas y vectores de eliminación. Puede crear nuevas tablas de v3 o actualizar las tablas de v2 existentes a v3.

Las tablas de Iceberg v3 utilizan la misma sintaxis de SQL para las consultas y las operaciones de DML (INSERT, DELETE, UPDATE, MERGE) que las tablas de v2. Las características que se describen en esta página son específicas de Iceberg v3.

Creación de una tabla de Iceberg v3

Para crear una tabla de Iceberg v3, especifique 'format-version'='3' en la cláusula TABLE PROPERTIES:

CREATE TABLE external_schema.table_name ( column_name data_type [DEFAULT literal_value] [, ...] ) USING ICEBERG LOCATION 's3://your-bucket-name/prefix/' [PARTITIONED BY [[column_name | transform_function]], ...] TABLE PROPERTIES ('format-version'='3' [, 'compression_type'='compression_value']);

Ejemplo:

CREATE TABLE my_schema.orders ( id int, status varchar DEFAULT 'pending', priority int DEFAULT 0 ) USING ICEBERG LOCATION 's3://amzn-s3-demo-bucket/orders/' TABLE PROPERTIES ('format-version'='3');

Si no especifica la versión del formato, Amazon Redshift crea la tabla como Iceberg v2.

Actualización de v2 a v3

Puede actualizar una tabla de Iceberg v2 existente a v3:

ALTER TABLE iceberg_table SET TABLE PROPERTIES ('format-version' = '3');

La actualización de la versión de formato es una operación que se realiza solo con metadatos. Los archivos de datos existentes no se reescriben. Los archivos de borrado posicional de v2 existentes siguen siendo válidos y se aplican durante las lecturas. La primera operación de escritura después de una actualización genera valores de linaje de filas para toda la tabla. En las operaciones DELETE, UPDATE o MERGE posteriores, Amazon Redshift fusiona las eliminaciones posicionales de v2 en vectores de eliminación para los archivos de datos afectados por la operación.

importante

Antes de actualizar a Iceberg v3, consulte la sección Limitaciones, ya que algunas características aún no son compatibles con las tablas de v3. Como no se admite la degradación de v3 a v2, asegúrese de que las características no compatibles no afecten a las cargas de trabajo antes de continuar con la actualización.

Limitaciones

  • Puede usar Iceberg v3 solo en clústeres de Amazon Redshift sin servidor (excepto en el de 4 RPU) y en clústeres aprovisionados que utilizan tipos de instancias RG.

  • No puede leer ni escribir tipos complejos (struct, list, map, variant) en las tablas de Iceberg v3.

  • No puede usar los siguientes tipos de datos en las tablas de Iceberg v3: struct, list, map, variant, geometry, geography, binary, uuid, time, timestamp_ns, timestamptz_ns y unknown.

  • No puede usar tablas de Iceberg v3 que contengan borrados de igualdad.

  • No puede crear vistas materializadas en tablas de Iceberg v3.

  • Tras actualizar una tabla a v3, el tipo timestamptz de Iceberg se asigna al tipo TIMESTAMPTZ de Amazon Redshift en lugar de a TIMESTAMP (utilizado en v2). Como resultado, las consultas devuelven marcas temporales que incluyen información sobre la zona horaria.

Valores de columna predeterminados

Los valores de columna predeterminados solo se admiten en las tablas de Iceberg v3. Amazon Redshift devuelve un error si especifica un valor predeterminado en una tabla de Iceberg v2.

Los valores predeterminados especifican un valor literal al que recurre una columna cuando no hay ningún valor explícito. De este modo, puede agregar nuevas columnas a una tabla existente sin tener que volver a escribir los archivos de datos. Las lecturas de archivos de datos escritos anteriormente devuelven automáticamente el valor predeterminado de la nueva columna. El valor predeterminado también se escribe cuando una instrucción DML omite la columna o especifica DEFAULT como valor.

Solo se admiten valores literales como valores predeterminados. Los tipos de datos anidados no admiten valores predeterminados.

CREATE TABLE AS SELECT no hereda los valores de columna predeterminados de la tabla de origen. Para definir los valores predeterminados en la tabla nueva, utilice ALTER TABLE ALTER COLUMN SET DEFAULT después de crearla.

Definición de los valores predeterminados al crear la tabla

CREATE TABLE external_schema.table_name ( column_name data_type DEFAULT literal_value [, ...] ) USING ICEBERG LOCATION '...' TABLE PROPERTIES ('format-version'='3');

Adición de una columna con un valor predeterminado

ALTER TABLE iceberg_table ADD COLUMN column_name data_type DEFAULT literal_value;

Los archivos de datos existentes devuelven el valor predeterminado para la columna recién agregada sin necesidad de volver a escribir los datos.

Cambio o eliminación de un valor predeterminado

ALTER TABLE iceberg_table ALTER COLUMN column_name SET DEFAULT literal_value; ALTER TABLE iceberg_table ALTER COLUMN column_name DROP DEFAULT;

SET DEFAULT cambia el valor predeterminado de una columna existente. El nuevo valor predeterminado se aplica a los archivos de datos escritos después del cambio. Los archivos de datos existentes siguen utilizando el valor predeterminado anterior.

DROP DEFAULT elimina el valor predeterminado de una columna. Tras esta operación, las escrituras nuevas ya no aplican un valor predeterminado a la columna. Los archivos de datos que no contienen la columna siguen devolviendo el valor predeterminado inicial de la columna.

Comportamiento de INSERT

Al insertar filas sin especificar una columna que tenga un valor predeterminado, el valor predeterminado se escribe en el archivo de datos.

SHOW TABLE

SHOW TABLE muestra los valores predeterminados en su salida.

Linaje de filas

El linaje de filas solo se admite en las tablas de Iceberg v3. Proporciona dos pseudocolumnas que realizan un seguimiento de la identidad de las filas y el historial de modificaciones. Amazon Redshift administra automáticamente estas columnas. No puede establecer sus valores.

Pseudocolumnas

Columna Tipo de datos: Descripción
_row_id BIGINT Identifica de forma única cada fila de la tabla. Se asigna automáticamente en las operaciones de escritura.
_last_updated_sequence_number BIGINT El número de secuencia de la instantánea de la última operación de escritura que modificó la fila.

Consulta del linaje de filas

Las columnas del linaje de filas deben tener un nombre explícito en la lista SELECT. No se incluyen en SELECT *.

SELECT _row_id, _last_updated_sequence_number, * FROM my_schema.my_iceberg_v3_table;

Puede utilizar columnas de linaje de filas en las cláusulas WHERE, ORDER BY, GROUP BY y JOIN:

SELECT * FROM my_schema.my_iceberg_v3_table WHERE _last_updated_sequence_number >= 3 ORDER BY _row_id;

Comportamiento en tablas que no son v3

Al consultar una tabla que no es de Iceberg v3, _row_id y _last_updated_sequence_number devuelven NULL.

Comportamiento tras la actualización de v2 a v3

En el caso de las tablas actualizadas de Iceberg v2 a v3, los valores de linaje de filas no están disponibles de forma inmediata para los datos previos a la actualización. _row_id y _last_updated_sequence_number devuelven NULL hasta la primera operación de escritura después de la actualización, lo que genera valores de linaje de filas para toda la tabla. Se trata de una operación que solo utiliza metadatos y no reescribe los archivos de datos existentes.

Comportamiento de escritura

Amazon Redshift rellena automáticamente el linaje de filas en todas las operaciones de escritura (INSERT, CTAS, UPDATE, MERGE). Cada fila recibe un _row_id único y _last_updated_sequence_number refleja el número de secuencia de la instantánea de la confirmación que escribió la fila.

Limitaciones

  • Las columnas de linaje de filas no se incluyen en SELECT *.

  • El linaje de filas no se admite para tablas de Iceberg v2 o anteriores.

  • Los datos anteriores a la actualización de las tablas actualizadas de v2 a v3 devuelven un valor NULL para ambas pseudocolumnas hasta la primera operación de escritura después de la actualización.

Vectores de eliminación

Los vectores de eliminación son el mecanismo que utiliza Iceberg v3 para rastrear las eliminaciones por fila. Sustituyen a los archivos de eliminación posicional utilizados por Iceberg v2.

Al ejecutar DELETE, UPDATE o MERGE en una tabla de Iceberg v3, Amazon Redshift registra las posiciones de fila eliminadas en vectores de eliminación en lugar de escribir archivos de eliminación posicional independientes. Esto se gestiona automáticamente. No es necesario realizar cambios en la sintaxis de SQL.

Funcionamiento de los vectores de eliminación

Un vector de eliminación es un mapa de bits comprimido que registra las posiciones de las filas de un archivo de datos que se han eliminado. Los vectores de eliminación se almacenan en archivos Puffin en la misma ubicación de S3 que los datos de la tabla. Cada archivo de datos tiene como máximo un vector de eliminación.

Al leer una tabla de Iceberg v3, Amazon Redshift aplica automáticamente vectores de eliminación para excluir las filas eliminadas de los resultados de la consulta.

Beneficios en comparación con los archivos de eliminación posicional

  • Los vectores de eliminación son más compactos que los archivos de eliminación posicional.

  • Un único vector de eliminación por archivo de datos evita la acumulación de muchos archivos de eliminación pequeños.

  • Las eliminaciones posteriores del mismo archivo de datos producen un nuevo vector de eliminación que fusiona las eliminaciones anteriores con las posiciones recién eliminadas, manteniendo un único vector de eliminación por archivo de datos.

  • Como los vectores de eliminación son más compactos y evitan la acumulación de muchos archivos pequeños, las lecturas y escrituras son más rápidas en comparación con los archivos de eliminación posicional de Iceberg v2.

Comportamiento tras la actualización de v2 a v3

Tras actualizar una tabla de Iceberg v2 a v3, los archivos de eliminación posicional de v2 existentes siguen siendo válidos y se aplican durante las lecturas. En las operaciones de escritura posteriores (DELETE, UPDATE o MERGE), Amazon Redshift fusiona las eliminaciones posicionales de v2 existentes en vectores de eliminación, tal como se define en la especificación de Iceberg.

Limitaciones

  • Los vectores de eliminación no se admiten en tablas de Iceberg v2 ni anteriores.

  • Las tablas de Iceberg v3 no pueden recurrir a archivos de eliminación posicional para nuevas operaciones de escritura. Esto significa que las tablas de Iceberg v3 pueden leer los archivos de eliminación posicional existentes, pero no se pueden agregar nuevos archivos de eliminación posicional. En cambio, las tablas de Iceberg v3 solo pueden agregar nuevas eliminaciones mediante vectores de eliminación.