Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Qu’est-ce qu’Amazon FSx pour Lustre ?

FSx for Lustre permet de lancer et d'exécuter facilement et à moindre coût le célèbre système de fichiers Lustre très performant. Vous utilisez Lustre pour les charges de travail où la rapidité est importante, telles que l'apprentissage automatique, le calcul haute performance (HPC), le traitement vidéo et la modélisation financière.

Le système de Lustre fichiers est conçu pour les applications qui nécessitent un stockage rapide, lorsque vous souhaitez que votre stockage suive le rythme de vos calculs. Lustrea été conçu pour résoudre le problème du traitement rapide et économique des ensembles de données mondiaux toujours plus nombreux. Il s'agit d'un système de fichiers largement utilisé conçu pour les ordinateurs les plus rapides du monde. Il fournit des latences inférieures à la milliseconde, un débit pouvant atteindre plusieurs Tbit/s et des millions d'IOPS. Pour plus d'informationsLustre, consultez le Lustresite Web.

En tant que service entièrement géré, Amazon FSx vous permet de l'utiliser plus facilement pour les charges de travail où Lustre la vitesse de stockage est importante. FSx for Lustre élimine la complexité traditionnelle liée à la configuration et à la Lustre gestion des systèmes de fichiers, vous permettant de créer et d'exécuter un système de fichiers performant éprouvé en quelques minutes. Il propose également plusieurs options de déploiement et classes de stockage afin que vous puissiez optimiser les coûts en fonction de vos besoins.

FSx for Lustre l' POSIX-compliantest, vous pouvez donc utiliser vos applications Linux-based actuelles sans avoir à apporter de modifications. FSx for Lustre fournit une interface de système de fichiers native et fonctionne comme n'importe quel système de fichiers avec votre système d'exploitation Linux. Il assure également une cohérence entre lecture après écriture et prend en charge le verrouillage des fichiers.

Plusieurs options de déploiement et classes de stockage

Amazon FSx for Lustre propose un choix de systèmes de fichiers temporaires et persistants pour répondre aux différents besoins en matière de traitement des données. Les systèmes de fichiers temporaires constituent l’alternative parfaite pour le stockage et le traitement de données sur le court terme. Les données ne sont ni répliquées ni conservées si l’exécution d’un serveur échoue. Les systèmes de fichiers persistants sont idéaux pour le stockage à long terme et les charges de travail axées sur le débit. Dans les systèmes de fichiers persistants, les données sont répliquées et les serveurs de fichiers sont remplacés en cas de défaillance. Pour de plus amples informations, veuillez consulter Options de déploiement et de classe de stockage pour les systèmes de fichiers FSx for Lustre.

Amazon FSx for Lustre propose des classes de stockage sur disque SSD (Solid State Drive) Intelligent-Tiering et sur disque dur (HDD) optimisées pour répondre aux différentes exigences en matière de traitement des données :

Pour de plus amples informations, veuillez consulter Classes de stockage FSx for Lustre.

FSx for Lustre et référentiels de données

Vous pouvez lier les systèmes de fichiers FSx for Lustre à des référentiels de données sur Amazon S3 ou à des magasins de données sur site.

Intégration du référentiel de données FSx for Lustre S3

FSx for Lustre s'intègre à Amazon S3, ce qui vous permet de traiter plus facilement des ensembles de données dans le cloud à l'aide d'un système Lustre de fichiers performant. Lorsqu'il est lié à un compartiment Amazon S3, un système de fichiers FSx for Lustre présente les objets S3 sous forme de fichiers de manière transparente. Amazon FSx importe les listes de tous les fichiers existants dans votre compartiment S3 lors de la création du système de fichiers. Amazon FSx peut également importer des listes de fichiers ajoutés au référentiel de données après la création du système de fichiers. Vous pouvez définir les préférences d'importation en fonction de vos besoins en matière de flux de travail. Le système de fichiers vous permet également de réécrire les données du système de fichiers dans S3. Les tâches de référentiel de données simplifient le transfert de données et de métadonnées entre votre système de fichiers FSx for Lustre et son référentiel de données durable sur Amazon S3. Pour plus d’informations, consultez Utilisation de référentiels de données avec Amazon FSx for Lustre et Tâches du référentiel de données.

FSx for Lustre et référentiels de données sur site

Avec Amazon FSx for Lustre, vous pouvez transférer vos charges de travail de traitement de données sur site vers AWS Cloud le en important des données à l'aide de ou. Direct Connect Site-to-Site VPN Pour de plus amples informations, veuillez consulter Utilisation d'Amazon FSx avec vos données sur site.

Accès aux systèmes de fichiers FSx for Lustre

Vous pouvez associer les types d'instances de calcul et les images Amazon Machine Images (AMI) Linux connectées à un seul système de fichiers FSx for Lustre.

Les systèmes de fichiers Amazon FSx for Lustre sont accessibles depuis des charges de travail de calcul exécutées sur des instances Amazon Elastic Compute Cloud (Amazon EC2), sur des conteneurs Docker Amazon Elastic Container Service (Amazon ECS) et des conteneurs exécutés sur Amazon Elastic Kubernetes Service (Amazon EKS).

Amazon FSx for Lustre est compatible avec les AMI les plus Linux-based populaires, notamment Amazon Linux 2023 et Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu et SUSE Linux. Le Lustre client est inclus dans Amazon Linux 2023 et Amazon Linux 2. Pour RHEL, CentOS et Ubuntu, AWS Lustre un référentiel client fournit des clients compatibles avec ces systèmes d'exploitation.

À l'aide de FSx for Lustre, vous pouvez transférer vos charges de travail gourmandes en ressources informatiques du local vers AWS Cloud le en important des données sur ou. Direct Connect AWS Virtual Private Network Vous pouvez accéder à votre système de fichiers Amazon FSx sur site, copier des données dans votre système de fichiers selon vos besoins et exécuter des charges de travail gourmandes en calcul sur des instances dans le cloud.

Pour plus d'informations sur les clients, les instances de calcul et les environnements à partir desquels vous pouvez accéder aux systèmes de fichiers FSx for Lustre, Accès aux systèmes de fichiers consultez.

Intégrations avec AWS services

Amazon FSx for Lustre s'intègre à SageMaker Amazon AI en tant que source de données d'entrée. Lorsque vous utilisez l' SageMaker IA avec FSx for Lustre, vos tâches de formation au machine learning sont accélérées en éliminant l'étape initiale de téléchargement depuis Amazon S3. En outre, votre coût total de possession (TCO) est réduit en évitant le téléchargement répétitif d'objets courants pour des tâches itératives sur le même ensemble de données, tout en économisant sur les coûts liés aux requêtes S3. Pour plus d'informations, voir Qu'est-ce que SageMaker l'IA ? dans le manuel Amazon SageMaker AI Developer Guide. Pour découvrir comment utiliser Amazon FSx for Lustre comme source de données pour l'IA, consultez Accélérer la SageMaker formation sur Amazon AI à l'aide d' SageMaker Amazon FSx for Lustre et des systèmes de fichiers Amazon EFS sur le blog AWS Machine Learning.

FSx for Lustre s'intègre à l'utilisation AWS Batch des modèles de lancement EC2. AWS Batch vous permet d'exécuter des charges de travail de calcul par lots sur le AWS Cloud, notamment le calcul haute performance (HPC), l'apprentissage automatique (ML) et d'autres charges de travail asynchrones. AWS Batch redimensionne automatiquement et dynamiquement les instances en fonction des besoins en ressources du travail. Pour plus d'informations, voir Qu'est-ce que c'est AWS Batch ? dans le guide de AWS Batch l'utilisateur.

FSx for Lustre s'intègre AWS ParallelClusterà. AWS ParallelCluster est un outil de gestion de clusters open source AWS pris en charge et utilisé pour déployer et gérer des clusters HPC. Il peut créer automatiquement des systèmes de fichiers FSx for Lustre ou utiliser des systèmes de fichiers existants lors du processus de création du cluster.

Conformité et sécurité

Les systèmes de fichiers FSx for Lustre prennent en charge le chiffrement au repos et en transit. Amazon FSx chiffre automatiquement les données du système de fichiers au repos à l'aide de clés gérées dans AWS Key Management Service ().AWS KMS Les données en transit sont également automatiquement chiffrées sur les systèmes de fichiers dans certains Régions AWS cas lorsqu'elles sont accessibles à partir d'instances Amazon EC2 prises en charge. Pour plus d'informations sur le chiffrement des données dans FSx for Lustre, Régions AWS notamment sur les cas où le chiffrement des données en transit est pris en charge, Chiffrement des données dans Amazon FSx pour Lustre consultez. Amazon FSx a été évalué pour être conforme aux certifications ISO et SOC PCI-DSS, et est éligible à la loi HIPAA. Pour de plus amples informations, veuillez consulter La sécurité dans Amazon FSx for Lustre.

Hypothèses

Dans ce guide, nous formulons les hypothèses suivantes :

Tarification d'Amazon FSx for Lustre

Avec Amazon FSx for Lustre, il n'y a aucun coût initial lié au matériel ou aux logiciels. Vous ne payez que pour les ressources utilisées, sans engagement minimum, frais d'installation ou frais supplémentaires. Pour plus d'informations sur la tarification et les frais associés au service, consultez la section Tarification d'Amazon FSx for Lustre.

Forums Amazon FSx for Lustre

Si vous rencontrez des problèmes lors de l'utilisation d'Amazon FSx for Lustre, consultez les forums.

Utilisez-vous Amazon FSx for Lustre pour la première fois ?

Si vous utilisez Amazon FSx for Lustre pour la première fois, nous vous recommandons de lire les sections suivantes dans l'ordre :