compresión de datos de Lustre - FSx para Lustre
Administración de la compresión de datosComprimir archivos escritos anteriormenteVisualización del tamaño de los archivosUso de métricas de CloudWatch

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

compresión de datos de Lustre

Puede usar la característica de compresión de datos de Lustre para ahorrar costos en los sistemas de archivos y almacenamiento de copias de seguridad de alto rendimiento de Amazon FSx para Lustre. Cuando la compresión de datos está habilitada, Amazon FSx para Lustre comprime automáticamente los archivos recién escritos antes de escribirlos en el disco y los descomprime automáticamente cuando se leen.

La compresión de datos utiliza el algoritmo LZ4, que está optimizado para ofrecer altos niveles de compresión sin afectar negativamente al rendimiento del sistema de archivos. LZ4 es un algoritmo de confianza de la comunidad de Lustre orientado al rendimiento que proporciona un equilibrio entre la velocidad de compresión y el tamaño del archivo comprimido. Habilitar la compresión de datos no suele tener un impacto apreciable en la latencia.

La compresión de datos reduce la cantidad de datos que se transfieren entre los servidores de archivos y el almacenamiento de Amazon FSx para Lustre. Si aún no utiliza formatos de archivo comprimidos, verá un aumento en la capacidad de rendimiento general del sistema de archivos al utilizar la compresión de datos. Los aumentos de la capacidad de rendimiento relacionados con la compresión de datos se limitarán una vez que se hayan saturado las tarjetas de interfaz de red front-end.

Por ejemplo, si su sistema de archivos es un tipo de implementación PERSISTENT-50 SSD, el rendimiento de la red tiene una base de 250 MBps por TiB de almacenamiento. El rendimiento del disco tiene una base de 50 MBps por TiB. Con la compresión de datos, el rendimiento del disco podría aumentar de 50 MBps por TiB a un máximo de 250 MBps por TiB, que es el límite de rendimiento de red de referencia. Para obtener más información sobre los límites de rendimiento de la red y el disco, consulte las tablas de rendimiento del sistema de archivos en Características de rendimiento de las clases de almacenamiento en SSD y HDD. Para obtener más información sobre el rendimiento de la compresión de datos, consulte la publicación Gaste menos y aumente el rendimiento con la compresión de datos de Amazon FSx for Lustre en el Blog sobre almacenamiento de AWS.

Administración de la compresión de datos

Puede activar o desactivar la compresión de datos al crear un nuevo sistema de archivos Amazon FSx para Lustre. La compresión de datos está desactivada de forma predeterminada al crear un sistema de archivos Amazon FSx para Lustre desde la consola, AWS CLI o la API.

  1. Abra la consola de Amazon FSx en https://console.aws.amazon.com/fsx/.

  2. Siga el procedimiento para crear un nuevo sistema de archivos que se describe en Paso 1: crear un sistema de archivos FSx para Lustre en la sección Primeros pasos.

  3. En la sección de información del sistema de archivos, en el tipo de compresión de datos, elija LZ4.

  4. Complete el asistente igual que cuando crea un nuevo sistema de archivos.

  5. Elija Review and create.

  6. Revise la configuración que eligió para el sistema de archivos Amazon FSx para Lustre y, a continuación, elija Create file system (Crear sistema de archivo).

Cuando el sistema de archivos esté disponible, se activará la compresión de datos.

  • Para crear un sistema de archivos de FSx para Lustre con la compresión de datos activada, utilice el comando CLI de Amazon FSx create-file-system con el parámetro DataCompressionType, como se muestra a continuación. La operación de API correspondiente es CreateFileSystem.

    $ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --file-system-type-version 2.12 \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

Después de crear correctamente el sistema de archivos, Amazon FSx devuelve la descripción del sistema de archivos como JSON, tal y como se muestra en el siguiente ejemplo.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

También puede cambiar la configuración de compresión de datos de sus sistemas de archivos existentes. Al activar la compresión de datos en un sistema de archivos existente, solo se comprimen los archivos recién escritos y no se comprimen los existentes. Para obtener más información, consulte Comprimir archivos escritos anteriormente.

  1. Abra la consola de Amazon FSx en https://console.aws.amazon.com/fsx/.

  2. Vaya a Sistemas de archivos y elija el sistema de archivos de Lustre para el cual desea administrar la compresión de datos.

  3. En Acciones, elija Actualizar el tipo de compresión de datos.

  4. En el cuadro de diálogo Actualizar el tipo de compresión de datos, seleccione LZ4 para activar la compresión de datos o NONE para desactivarla.

  5. Elija Actualizar.

  6. Puede supervisar el progreso de la actualización en la página de información de los Sistemas de archivos, en la pestaña Actualizaciones.

Para actualizar la configuración de compresión de datos de un sistema de archivos de FSx para Lustre existente, utilice el comando AWS CLI update-file-system. Establezca los siguientes parámetros:

  • Establezca --file-system-id en el ID del sistema de archivos que va a actualizar.

  • Establezca --lustre-configuration DataCompressionType a NONE para desactivar la compresión de datos o LZ4 para activar la compresión de datos con el algoritmo LZ4.

Este comando especifica que la compresión de datos se activa con el algoritmo LZ4.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuración de la compresión de datos al crear un sistema de archivos a partir de una copia de seguridad

Puede utilizar una copia de seguridad disponible para crear un nuevo sistema de archivos Amazon FSx para Lustre. Al crear un nuevo sistema de archivos a partir de una copia de seguridad, no es necesario especificar el DataCompressionType; la configuración se aplicará utilizando la configuración DataCompressionType de la copia de seguridad. Si decide especificar el DataCompressionType al crear desde copia de seguridad, el valor debe coincidir con la configuración del DataCompressionType de la copia de seguridad.

Para ver la configuración de una copia de seguridad, selecciónela en la pestaña Copias de seguridad de la consola de Amazon FSx. Los detalles de la copia de seguridad aparecerán en la página Resumen de la copia de seguridad. También puedes ejecutar el comando describe-backups AWS CLI (la acción equivalente de la API es DescribeBackups).

Comprimir archivos escritos anteriormente

Los archivos no se comprimen si se crearon cuando la compresión de datos estaba desactivada en el sistema de archivos Amazon FSx para Lustre. Activar la compresión de datos no comprimirá automáticamente los datos existentes sin comprimir.

Puede usar el comando lfs_migrate que se instala como parte de la instalación del cliente Lustre para comprimir los archivos existentes. Para ver un ejemplo, consulte Compresión FSXL disponible en GitHub.

Visualización del tamaño de los archivos

Puede utilizar los siguientes comandos para ver los tamaños sin comprimir y comprimidos de sus archivos y directorios.

  • du muestra los tamaños comprimidos.

  • du --apparent-size muestra los tamaños sin comprimir.

  • ls -l muestra los tamaños sin comprimir.

Los siguientes ejemplos muestran la salida de cada comando con el mismo archivo.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

La opción -h es útil para estos comandos porque imprime los tamaños en un formato legible para las personas.

Uso de métricas de CloudWatch

Puede utilizar las métricas de los Registros de Amazon CloudWatch para ver el uso del sistema de archivos. La métrica LogicalDiskUsage muestra el uso total del disco lógico (sin compresión) y la métrica PhysicalDiskUsage muestra el uso total del disco físico (con compresión). Estas dos métricas solo están disponibles si el sistema de archivos tiene habilitada la compresión de datos o si la tenía habilitada anteriormente.

Puede determinar la relación de compresión de su sistema de archivos dividiendo el Sum de la estadística LogicalDiskUsage entre el Sum de la estadística PhysicalDiskUsage.

Para obtener más información sobre la supervisión del rendimiento del sistema de archivos, consulte Supervisión de sistemas de archivos de Amazon FSx para Lustre.