Optimización de costos para tablas con Intelligent-Tiering - Amazon Simple Storage Service

Optimización de costos para tablas con Intelligent-Tiering

Puede optimizar automáticamente los costos de almacenamiento de las tablas mediante S3 Intelligent-Tiering. La clase de almacenamiento de Intelligent-Tiering de tablas de S3 mueve automáticamente los datos al nivel de acceso más rentable cuando cambian los patrones de acceso. Al utilizar S3 Intelligent-Tiering, los datos a los que se accede con menos frecuencia se transfieren automáticamente a niveles de menor costo y se devuelven al nivel de acceso frecuente cada vez que se vuelve a acceder a ellos.

Todos los datos se transfieren de un nivel a otro sin gastos de recuperación, sin que ello repercuta en el rendimiento ni cambios en la disponibilidad. Además, las operaciones de mantenimiento de las tablas, como la compactación, se optimizan en función de los patrones de acceso, ya que solo procesan los datos a los que se accede activamente en el nivel de acceso frecuente y, al mismo tiempo, reducen los costos de mantenimiento de los datos a los que se accede con menos frecuencia en los niveles de menor costo.

Capas de acceso de Intelligent-Tiering de tablas de S3

Cuando la tabla está almacenada en la clase de almacenamiento de S3 Intelligent-Tiering, Amazon S3 supervisa de forma continua los patrones de acceso y mueve automáticamente los datos de la tabla entre las capas de acceso.

La organización en niveles se produce por archivo individual, por lo que una sola tabla puede tener archivos en diferentes niveles en función de los patrones de acceso. Los datos de la tabla se mueven automáticamente a una de las siguientes capas de acceso en función de los patrones de acceso:

  • Acceso frecuente: el nivel predeterminado para todos los archivos. Los archivos de otros niveles vuelven automáticamente al nivel de acceso frecuente cuando se accede a ellos.

  • Acceso poco frecuente: si no accede a un archivo durante 30 días consecutivos, se mueve al nivel de acceso poco frecuente.

  • Acceso instantáneo de archivo: si no accede a un archivo durante 90 días consecutivos, se mueve al nivel de acceso instantáneo de archivo.

Todos los niveles ofrecen una latencia de milisegundos, un alto rendimiento y están diseñados para ofrecer una disponibilidad del 99,9 % y una durabilidad del 99,999999999 %.

Comportamiento de capas automáticas con S3 Intelligent-Tiering

Las siguientes acciones constituyen un acceso que mueve automáticamente los archivos del nivel de acceso poco frecuente o el nivel de acceso instantáneo de archivo de vuelta al nivel de acceso frecuente:

  • Cualquier operación de lectura o escritura en archivos de metadatos o datos de tablas mediante acciones GetObject, PutObject o CompleteMultipartUpload

  • Acciones LoadTable o UpdateTable mediante las Operaciones de la API de REST de Iceberg

  • Operaciones de replicación de tablas de S3

Otras acciones no constituyen un acceso que mueve automáticamente los archivos del nivel de acceso poco frecuente o el nivel de acceso instantáneo de archivo de vuelta al nivel de acceso frecuente.

nota

Los archivos de menos de 128 KB no son elegibles para la organización automática en niveles y permanecen en la capa de acceso frecuente. La compactación puede combinar estos archivos en un menor número de objetos de mayor tamaño y volver a guardarlos en la tabla como una nueva instantánea. Los archivos recién compactados pueden organizarse automáticamente en niveles si el nuevo archivo pesa 128 KB o más.

Comportamiento del mantenimiento de tablas

Las operaciones automáticas de mantenimiento de tablas que realiza Amazon S3, como la administración de instantáneas, la eliminación de archivos no referenciados y la caducidad de los registros, siguen ejecutándose en las tablas independientemente del nivel. La compactación solo se ejecuta en el nivel de acceso frecuente, lo que optimiza el rendimiento de los datos a los que se accede con frecuencia y reduce los costos de mantenimiento de los datos en los niveles de menor costo.

Las operaciones de mantenimiento no afectan al nivel de acceso de los archivos de la tabla. Las lecturas realizadas por las operaciones de mantenimiento no provocan que los archivos cambien de nivel. Sin embargo, si una operación de mantenimiento, como la compactación o la caducidad de un registro, escribe un archivo nuevo, ese archivo se crea en la capa de acceso frecuente.

nota

Como la compactación solo procesa los archivos del nivel de acceso frecuente, las operaciones de eliminación de datos de los niveles de menor costo crean archivos de eliminación que no se compactan automáticamente. Estos archivos de eliminación se pueden compactar cuando se accede a los archivos de datos asociados y vuelven al nivel de acceso frecuente. Para las tablas a las que no se accede con frecuencia, puede ejecutar manualmente la compactación mediante Amazon EMR para compactar estos archivos de eliminación con sus archivos de datos asociados. Para obtener más información, consulte Mantenimiento de tablas mediante la compactación. Puede supervisar el crecimiento de los archivos de la tabla mediante las métricas de Amazon CloudWatch para determinar cuándo puede resultar beneficiosa la compactación manual.

Especificación de S3 Intelligent-Tiering como clase de almacenamiento

De forma predeterminada, todas las tablas se crean en la clase de almacenamiento estándar de S3 y no se pueden mover a S3 Intelligent-Tiering. Para utilizar S3 Intelligent-Tiering, debe especificarlo al crear la tabla. También puede configurar S3 Intelligent-Tiering como la clase de almacenamiento predeterminada para el bucket de tablas para almacenar automáticamente las tablas nuevas que se creen allí en la clase de almacenamiento de S3 Intelligent-Tiering.

Especificación de S3 Intelligent-Tiering para buckets de tablas

Puede especificar S3 Intelligent-Tiering como la clase de almacenamiento predeterminada al crear un nuevo bucket de tabla mediante el encabezado de storage-class-configuration con la operación CreateTableBucket.

Para comprobar la clase de almacenamiento predeterminada en un bucket de tabla existente, utilice la operación GetTableBucketStorageClass. Para modificar la clase de almacenamiento predeterminada de un bucket de tabla existente, utilice la operación PutTableBucketStorageClass.

nota

Cuando modifica la clase de almacenamiento predeterminada en un bucket de tablas, esa configuración solo se aplica a las nuevas tablas creadas en ese bucket. La clase de almacenamiento de las tablas preexistentes no se modifica.

Especificación de S3 Intelligent-Tiering para tablas

Puede especificar S3 Intelligent-Tiering como la clase de almacenamiento al crear una nueva tabla mediante el encabezado de storage-class-configuration con la operación CreateTable.

Si no especifica una clase de almacenamiento al crear la tabla, la tabla se crea en la clase de almacenamiento predeterminada configurada en el bucket de tablas en ese momento. Una vez creada una tabla, no podrá modificar su clase de almacenamiento.

Para comprobar la clase de almacenamiento predeterminada en un bucket de tabla existente, utilice la operación GetTableBucketStorageClass.

Supervisión del uso del almacenamiento

Puede ver el desglose del uso del almacenamiento por nivel de acceso en los informes de costo y uso de AWS de la cuenta. Para obtener más información, consulte Creación de informes de costo y uso en la Guía del usuario de exportaciones de datos de AWS.

Los siguientes tipos de uso están disponibles en los informes de facturación:

Tipo de uso Unidad Granularity (Grado de detalle) Descripción
region-Tables-TimedStorage-INT-FA-ByteHrs GB-mes Por día El número de GB-meses que los datos estuvieron almacenados en el acceso frecuente de S3 Intelligent-Tiering del almacenamiento de S3 Intelligent-Tiering
region-Tables-TimedStorage-INT-IA-ByteHrs GB-mes Por día El número de GB-meses que los datos estuvieron almacenados en el acceso poco frecuente de S3 Intelligent-Tiering del almacenamiento de S3 Intelligent-Tiering
region-Tables-TimedStorage-INT-AIA-ByteHrs GB-mes Por día El número de GB-meses que los datos estuvieron almacenados en el acceso instantáneo de archivo de S3 Intelligent-Tiering de almacenamiento de S3 Intelligent-Tiering
region-Tables-Requests-INT-Tier1 Recuento Por hora El número de solicitudes PUT, COPY o POST en objetos de Intelligent-Tiering de tablas de S3.
region-Tables-Requests-INT-Tier2 Recuento Por hora El número de GET y el resto de solicitudes que no son Tier1 para objetos de Intelligent-Tiering de tablas de S3