View a markdown version of this page

Arbeiten mit EFA-enabled Dateisysteme - FSx für Lustre
Überlegungen bei der Verwendung EFA-enabled DateisystemeVoraussetzungen für die Verwendung EFA-enabled DateisystemeErstellen einer EFA-enabled Dateisystem

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit EFA-enabled Dateisysteme

Wenn Sie ein Dateisystem mit einer Durchsatzkapazität von über 10 Gbit/s erstellen, empfehlen wir, Elastic Fabric Adapter (EFA) zu aktivieren, um den Durchsatz pro Client-Instance zu optimieren. EFA ist eine leistungsstarke Netzwerkschnittstelle, die eine maßgeschneiderte Technik zur Umgehung des Betriebssystems verwendet, und AWS Skalierbares SRD-Netzwerkprotokoll (Reliable Datagram) zur Leistungssteigerung. Hinweise zu EFA finden Sie unter Elastischer Stoffadapter für AI/ML und HPC-Workloads auf Amazon EC2 in der Amazon EC2-Benutzerhandbuch.

EFA-enabled Dateisysteme unterstützen zwei zusätzliche Leistungsmerkmale: GPUDirect Storage (GDS) und ENA Express. Die GDS-Unterstützung baut auf EFA auf, um die Leistung weiter zu verbessern, indem sie eine direkte Datenübertragung zwischen dem Dateisystem und dem GPU-Speicher unter Umgehung der CPU ermöglicht. Dieser direkte Weg macht redundante Speicherkopien und die Beteiligung der CPU an den Datenübertragungsvorgängen überflüssig. Mit EFA- und GDS-Unterstützung können Sie für einzelne Benutzer einen höheren Durchsatz erzielen EFA-enabled Client-Instanzen. ENA Express bietet optimierte Netzwerkkommunikation für Amazon EC2-Instances mithilfe eines fortschrittlichen Pfadauswahlalgorithmus und eines verbesserten Mechanismus zur Überlastungskontrolle. Mit der Unterstützung von ENA Express können Sie einen höheren Durchsatz für einzelne ENA erzielen Express-enabled Client-Instanzen. Informationen zu ENA Express finden Sie unter Verbessern Sie die Netzwerkleistung zwischen EC2-Instances mit ENA Express in der Amazon EC2-Benutzerhandbuch.

Überlegungen bei der Verwendung EFA-enabled Dateisysteme

Hier sind einige wichtige Punkte, die Sie bei der Erstellung berücksichtigen sollten EFA-enabled Dateisysteme:

  • Mehrere Konnektivitätsoptionen: EFA-enabled Dateisysteme können mithilfe von ENA, ENA Express und EFA mit Client-Instanzen kommunizieren. Der Metadatenverkehr zwischen Clients und dem Dateisystem verwendet immer TCP.

  • Art der Bereitstellung: EFA wird auf Persistent 2-Dateisystemen mit einer angegebenen Metadatenkonfiguration unterstützt, einschließlich Dateisystemen, die Intelligent-Tiering Speicherklasse.

  • Aktualisierung der EFA-Einstellung: Sie können EFA aktivieren, wenn Sie ein neues Dateisystem erstellen, aber Sie können EFA nicht auf einem vorhandenen Dateisystem aktivieren oder deaktivieren.

  • Skalierung des Durchsatzes mit der Speicherkapazität: Sie können die Speicherkapazität auf einem skalieren EFA-enabled SSD-based Dateisystem, um die Durchsatzkapazität zu erhöhen, aber Sie können die Durchsatzstufe eines EFA-enabled Dateisystem.

  • AWS-Regionen: Für eine Liste von AWS-Regionen diese Unterstützung EFA-enabled Persistente 2-Dateisysteme, siehe Verfügbarkeit des Bereitstellungstyps.

Voraussetzungen für die Verwendung EFA-enabled Dateisysteme

Folgendes sind Voraussetzungen für die Verwendung EFA-enabled Dateisysteme:

Um deine zu erstellen EFA-enabled Dateisystem:

  • Benutze ein EFA-enabled Sicherheitsgruppe. Weitere Informationen finden Sie unter EFA-enabled Sicherheitsgruppen.

  • Verwenden Sie dieselbe Availability Zone und /16 CIDR wie Ihre EFA-enabled Client-Instances innerhalb Ihrer Amazon VPC.

  • Ein Intelligent-Tiering Dateisysteme, EFA wird nur mit einer Durchsatzkapazität von 4.000 Mbit/s oder in Schritten von 4.000 Mbit/s unterstützt.

So greifen Sie mit Elastic Fabric Adapter (EFA) auf Ihr Dateisystem zu:

  • Verwenden Sie Nitro v4 (oder höher) EC2-Instances, die EFA unterstützen, mit Ausnahme der trn2-Instance-Familie. Siehe Unterstützte Instanztypen in der Amazon EC2-Benutzerhandbuch.

  • Führen Sie AL2023, RHEL 9.5 und neuer oder Ubuntu 22+ mit der Kernelversion 6.8 und neuer aus. Weitere Informationen finden Sie unter Installieren von Lüster Client.

  • Installieren Sie die EFA-Module und konfigurieren Sie die EFA-Schnittstellen auf Ihren Client-Instanzen. Weitere Informationen finden Sie unter Konfiguration von EFA-Clients.

So greifen Sie mithilfe von GPUDirect Storage (GDS) auf Ihr Dateisystem zu:

  • Verwenden Sie ein Amazon EC2 P5, P5e, P5en, P6-B200, oder P6-B300 Client-Instanz.

  • Installieren Sie das NVIDIA Compute Unified Device Architecture (CUDA) -Paket, den Open-Source-NVIDIA-Treiber und den NVIDIA GPUDirect-Speichertreiber auf Ihrer Client-Instance. Weitere Informationen finden Sie unter Installieren Sie den GDS-Treiber (optional).

So greifen Sie mit ENA Express auf Ihr Dateisystem zu:

Erstellen einer EFA-enabled Dateisystem

Dieser Abschnitt enthält Anweisungen zum Erstellen eines FSx für Lustre EFA-enabled Dateisystem unter Verwendung des AWS CLI. Für Informationen zum Erstellen einer EFA-enabled Dateisystem, das die Amazon FSx-Konsole verwendet, finden Sie unter Schritt 1: Erstellen Sie Ihr FSx for Lustre-Dateisystem.

Benutze das Dateisystem erstellen CLI-Befehl (oder das Äquivalent) CreateFileSystem API-Betrieb). Im folgenden Beispiel wird ein FSx für Lustre erstellt EFA-enabled Dateisystem mit einem PERSISTENT_2 Bereitstellungstyp.

aws fsx create-file-system\
   --storage-capacity 4800 \
   --storage-type SSD \
   --file-system-type LUSTRE \
   --file-system-type-version 2.15 \
   --subnet-ids subnet-01234567890 \
   --security-group-ids sg-0123456789abcdefg \
   --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaEnabled": true}'

Nach erfolgreicher Erstellung des Dateisystems gibt Amazon FSx die Beschreibung des Dateisystems im JSON-Format zurück.