Cómo AWS DataSync funciona - AWS DataSync

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cómo AWS DataSync funciona

Conozca los conceptos y la terminología clave relacionados con las AWS DataSync transferencias, incluida la forma en que se transfieren los datos desde ubicaciones locales y en la nube.

DataSync arquitectura de transferencias

Los siguientes diagramas muestran cómo y dónde se transfieren DataSync habitualmente los datos de almacenamiento. Para obtener una lista completa de los sistemas y servicios de almacenamiento DataSync compatibles, consulte ¿Dónde puedo transferir mis datos con AWS DataSync?

Transferencia entre el almacenamiento en las instalaciones y AWS

El siguiente diagrama muestra una descripción general de alto nivel de la DataSync transferencia de archivos entre sistemas de almacenamiento locales autogestionados y. Servicios de AWS

Descripción general de un DataSync escenario común en el que los datos se transfieren desde un sistema de almacenamiento local a un recurso de AWS almacenamiento compatible (como un bucket de Amazon S3 o un sistema de archivos Amazon EFS).

El diagrama ilustra un caso de DataSync uso común:

  • Un DataSync agente que copia datos de un sistema de almacenamiento local.

  • Los datos que se transfieren AWS y se cifran mediante Transport Layer Security (TLS).

  • DataSync copiar datos a un servicio de AWS almacenamiento compatible.

Transferencia entre servicios AWS de almacenamiento

El siguiente diagrama muestra una descripción general de alto nivel de la DataSync transferencia de archivos entre Servicios de AWS los mismos Cuenta de AWS.

Descripción general de un DataSync escenario común en el que los datos se transfieren entre recursos de AWS almacenamiento (como un bucket de Amazon S3 o un sistema de archivos Amazon EFS).

El diagrama ilustra un caso de DataSync uso común:

  • DataSync copiar datos de un servicio AWS de almacenamiento compatible.

  • Datos en movimiento Regiones de AWS, cifrados mediante TLS.

  • DataSync copiar datos a un servicio de AWS almacenamiento compatible.

Al realizar transferencias entre servicios de AWS almacenamiento de la misma cuenta (ya sea en la misma partición Región de AWS o a través Regiones de AWS de la misma partición), no se requiere ningún agente. Sus datos permanecen en la AWS red y no atraviesan la Internet pública.

importante

Usted paga por los datos transferidos entre Regiones de AWS. Esto se factura como transferencia de datos de SALIDA desde la región de origen a la región de destino. Para obtener más información, consulte Data transfer pricing.

Transferencia entre servicios AWS de almacenamiento y sistemas de almacenamiento en otras nubes

Con DataSync, puede transferir datos entre otros sistemas de almacenamiento en la nube y Servicios de AWS. En este contexto, los sistemas de almacenamiento en la nube pueden ser:

  • Sistemas de almacenamiento autoadministrados, como un servidor de archivos de NFS en su nube privada virtual (VPC) de AWS.

  • Sistemas o servicios de almacenamiento alojados por otro proveedor de nube. Para obtener más información, consulte Transferencia desde o hacia otra nube con AWS DataSync.

DataSync puede copiar datos hacia y desde otras nubes con o sin el uso de un agente. Para obtener más información sobre cuándo usar un agente, consulte ¿Necesito un agente de AWS DataSync ?.

El siguiente diagrama muestra una descripción general de alto nivel de la DataSync transferencia de datos entre los servicios AWS de almacenamiento y otro proveedor de nube.

Descripción general de un DataSync escenario común en el que los datos se transfieren entre servicios de AWS almacenamiento (como un bucket de Amazon S3 o un sistema de archivos Amazon EFS) y otro proveedor de nube.

Conceptos y terminología

Familiarícese con las funciones de DataSync transferencia.

Agente

Un agente es un dispositivo de máquina virtual (VM) que se DataSync utiliza para leer y escribir en el almacenamiento durante una transferencia. DataSync proporciona dos tipos de agentes: uno gestiona las tareas del modo básico y otro las tareas del modo mejorado. Para obtener más información sobre cómo elegir un agente para su caso de uso, consulteElegir un agente para su modo de tarea.

Puede implementar un agente en su entorno de almacenamiento en una máquina virtual basada en VMware ESXi el núcleo de Linux (KVM), Nutanix AHV (mediante la imagen del agente KVM) o hipervisores Microsoft Hyper-V. Para el almacenamiento en una nube privada virtual (VPC) AWS, puede implementar un agente como una instancia de Amazon EC2.

Para empezar, consulte ¿Necesito un AWS DataSync agente?.

Ubicación

Una ubicación describe el lugar desde o hacia el que se copian los datos. Cada DataSync transferencia (también conocida como tarea) tiene una ubicación de origen y de destino. Para obtener más información, consulte ¿Dónde puedo transferir mis datos con AWS DataSync?

Tarea

Una tarea describe una DataSync transferencia. Identifica una ubicación de origen y destino, junto con detalles sobre cómo copiar datos entre esas ubicaciones. También puede especificar cómo una tarea gestiona los metadatos, los archivos eliminados y los permisos.

Ejecución de tarea

La ejecución de una tarea es una ejecución individual de una tarea de DataSync transferencia. La ejecución de una tarea implica varias fases. Para obtener más información, consulte Estados de ejecución de las tareas.

Cómo DataSync transfiere los archivos, objetos y directorios

Durante la ejecución de una tarea, DataSync prepara, transfiere y verifica los datos. La forma en que se DataSync realizan estas acciones depende de cómo configure las opciones de la DataSync tarea, como el modo de tarea. Las tareas en modo básico preparan, transfieren y verifican los datos de forma secuencial, mientras que las tareas en modo mejorado lo hacen en paralelo.

¿Cómo DataSync se prepara la transferencia de datos

DataSync de forma predeterminada, prepara la transferencia examinando las ubicaciones de origen y destino para determinar qué transferir. Esto se realiza mediante el análisis del contenido y los metadatos de ambas ubicaciones para identificar las diferencias entre estas.

nota

Si configura la tarea para transferir todos los datos, no se realiza ninguna preparación. Al iniciar la tarea, transfiere DataSync inmediatamente todo desde el origen hasta el destino sin comparar las ubicaciones.

La forma en que DataSync se prepare la transferencia también depende del modo de tarea:

Preparación en modo mejorado Preparación en modo básico

DataSync prepara los objetos tal como se encuentran en la ubicación de origen. La preparación continúa durante toda la ejecución de la tarea hasta que no quedan más objetos listados en el origen.

A diferencia del modo básico, DataSync puede preparar un número prácticamente ilimitado de objetos con cada ejecución de una tarea.

La preparación puede tardar desde unos minutos hasta varias horas, o incluso más tiempo, según el número de archivos, objetos o directorios en ambas ubicaciones y el rendimiento del sistema de almacenamiento.

Los elementos que DataSync almacene en su origen y destino se tendrán en cuenta para sus cuotas de tareas. Estas cuotas no se basan en la cantidad de elementos que se DataSync transfieren durante la ejecución de cada tarea.

DataSync puede omitir algunos archivos, objetos y directorios durante la preparación. Las razones pueden depender de varios factores, como la forma en que configura la tarea y los permisos del sistema de almacenamiento. Estos son algunos ejemplos:

  • Uno de los archivos de la ubicación de origen existe en las ubicaciones de origen y de destino. El archivo del origen no se ha modificado desde la ejecución anterior de la tarea. Como solo está transfiriendo datos que han cambiado, DataSync no transferirá ese archivo la próxima vez que ejecute la tarea.

  • Un objeto que existe en ambas ubicaciones cambia en el origen. Al ejecutar la tarea, DataSync omite este objeto en el destino porque la tarea no sobrescribe los datos del destino.

  • DataSync omite un objeto de la ubicación de origen que utiliza una clase de almacenamiento de archivos y no se restaura. Debe restaurar un objeto archivado para DataSync poder leerlo.

  • DataSync omite un archivo, objeto o directorio de la ubicación de origen porque no puede leerlo. Si esto ocurre y no es lo esperado, comprueba los permisos de acceso del almacenamiento y asegúrate de que DataSync puede leer lo que se omitió.

¿Cómo se DataSync transfieren tus datos

DataSync copia los datos (incluidos los metadatos) del origen al destino en función de las opciones de la tarea. Por ejemplo, puede especificar qué metadatos se copiarán, excluir determinados archivos y limitar el DataSync uso del ancho de banda, entre otras opciones.

La forma en que se DataSync transfieren los datos también depende del modo de tarea:

Transferencia en modo mejorado Transferencia en modo básico

DataSync transfiere cada objeto en cuanto está preparado.

Una DataSync vez preparados todos los datos, comienza la transferencia.

DataSyncpuede omitir algunos elementos durante la transferencia. Si configura la tarea para transferir todos los datos, esto puede ocurrir con un objeto en la ubicación de origen que utiliza una clase de almacenamiento de archivo y que no se ha restaurado.

¿Cómo DataSync verifica la integridad de sus datos

DataSync siempre realiza comprobaciones de integridad de sus datos durante una transferencia. Al final de una transferencia, también DataSync puede realizar comprobaciones adicionales solo en los datos transferidos o en todo el conjunto de datos en ambas ubicaciones. Para obtener más información, consulte Configurar cómo se AWS DataSync verifica la integridad de los datos.

Al comprobar la integridad de los datos, DataSync calcula y compara la suma de verificación y los metadatos de los archivos, objetos o directorios de sus ubicaciones. Si detecta DataSync diferencias entre las ubicaciones, la verificación no se realiza correctamente y se produce un error. Por ejemplo, pueden aparecer errores como Checksum failure, Metadata failure, Files were added o Files were removed.

El funcionamiento de la verificación depende del modo de tarea y de si está configurado DataSync para verificar la integridad de los datos al final de la transferencia.

Verificación en modo mejorado Verificación en modo básico

DataSync verifica cada objeto a medida que se transfiere a tu destino.

Con el modo mejorado, DataSync verifica solo los datos transferidos.

Al final de la transferencia, DataSync verifica la integridad de los datos.

Según cómo configure la verificación de datos, este proceso puede tardar un tiempo considerable en conjuntos de datos de gran tamaño.

¿Cómo DataSync funciona con los archivos abiertos y bloqueados

Tenga en cuenta lo siguiente cuando intente transferir archivos que estén abiertos (en uso) o bloqueados:

  • En general, DataSync puede transferir archivos abiertos sin ninguna limitación.

  • Si un archivo está abierto y se está grabando en él durante una transferencia, DataSync puede detectar este tipo de incoherencia durante la fase de verificación de la tarea de transferencia. Para obtener la versión más reciente del archivo, debe volver a ejecutar la tarea.

  • Si un archivo está bloqueado y el servidor DataSync impide abrirlo, lo DataSync omite durante la transferencia y registra un error.

  • DataSync no puede bloquear ni desbloquear archivos.

Opciones de transferencia recurrente

Además de las transferencias únicas, DataSync puede transferir datos de forma recurrente. Algunas de las opciones para estas situaciones son: