Provisioning NVMe/TCP pour Linux

Pour installer le client NVMe

1. Connectez-vous à votre instance Linux à l'aide d'un client SSH. Pour plus d'informations, consultez Connexion à votre instance Linux depuis Linux ou macOS via SSH.

2. Installez nvme-cli à l’aide de la commande suivante:

   ~$ sudo yum install -y nvme-cli

3. Chargez le nvme-tcp module sur l'hôte :

   $ sudo modprobe nvme-tcp

4. Obtenez le nom qualifié NVMe (NQN) de l'hôte Linux à l'aide de la commande suivante :

   $ cat /etc/nvme/hostnqn
   nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1

   Enregistrez la réponse pour une utilisation ultérieure.

Pour configurer NVMe sur le système de fichiers

Connectez-vous à l'interface de ligne de commande NetApp ONTAP sur le système de fichiers FSx for ONTAP sur lequel vous prévoyez de créer le ou les périphériques NVMe.

1. Pour accéder à l'ONTAPinterface de ligne de commande, établissez une session SSH sur le port de gestion du système de fichiers ou de la SVM Amazon FSx for NetApp ONTAP en exécutant la commande suivante. management_endpoint_ipRemplacez-la par l'adresse IP du port de gestion du système de fichiers.

   [~]$ ssh fsxadmin@management_endpoint_ip

   Pour plus d’informations, consultez Gestion des systèmes de fichiers à l'aide du AU ROBINET INTERFACE DE LIGNE DE COMMANDE (CLI).

2. Créez un nouveau volume sur la SVM que vous utilisez pour accéder à l'interface NVMe.

   ::> vol create -vserver fsx -volume nvme_vol1 -aggregate aggr1 -size 1t
        [Job 597] Job succeeded: Successful

3. Créez l'espace de noms NVMe à l'ns_1aide de la commande CLI vserver nvme namespace create NetApp ONTAP. Un espace de noms correspond aux initiateurs (clients) et contrôle quels initiateurs (clients) ont accès aux périphériques NVMe.

   ::> vserver nvme namespace create -vserver fsx -path /vol/nvme_vol1/ns_1 -size 100g -ostype linux
   Created a namespace of size 100GB (107374182400).

4. Créez le sous-système NVMe à l'aide de la commande CLI vserver nvme subsystem create NetApp ONTAP.

   ~$ vserver nvme subsystem create -vserver fsx -subsystem sub_1 -ostype linux

5. Associez l'espace de noms au sous-système que vous venez de créer.

   ::> vserver nvme subsystem map add -vserver fsx -subsystem sub_1 -path /vol/nvme_vol1/ns_1

6. Ajoutez le client au sous-système à l'aide du NQN que vous avez récupéré précédemment.

   ::> vserver nvme subsystem host add -subsystem sub_1 -host-nqn nqn.2014-08.org.nvmexpress:uuid:ec21b083-1860-d690-1f29-44528e4f4e0e -vserver fsx

   Si vous souhaitez mettre les périphériques mappés à ce sous-système à la disposition de plusieurs hôtes, vous pouvez spécifier plusieurs noms d'initiateurs dans une liste séparée par des virgules. Pour plus d'informations, consultez la section vserver nvme subsystem host add dans la NetApp documentation ONTAP.

7. Vérifiez que l'espace de noms existe à l'aide de la vserver nvme namespace show commande :

   ::> vserver nvme namespace show -vserver fsx -instance
   Vserver Name: fsx
               Namespace Path: /vol/nvme_vol1/ns_1
                         Size: 100GB
                    Size Used: 90.59GB
                      OS Type: linux
                      Comment: 
                   Block Size: 4KB
                        State: online
            Space Reservation: false
   Space Reservations Honored: false
                 Is Read Only: false
                Creation Time: 5/20/2024 17:03:08
               Namespace UUID: c51793c0-8840-4a77-903a-c869186e74e3
                     Vdisk ID: 80d42c6f00000000187cca9
         Restore Inaccessible: false
      Inconsistent Filesystem: false
          Inconsistent Blocks: false
                       NVFail: false
   Node Hosting the Namespace: FsxId062e9bb6e05143fcb-01
                  Volume Name: nvme_vol1
                   Qtree Name: 
             Mapped Subsystem: sub_1
               Subsystem UUID: db526ec7-16ca-11ef-a612-d320bd5b74a9               
                 Namespace ID: 00000001h
                 ANA Group ID: 00000001h
                 Vserver UUID: 656d410a-1460-11ef-a612-d320bd5b74a9
                   Vserver ID: 3
                  Volume MSID: 2161388655
                  Volume DSID: 1029
                    Aggregate: aggr1
               Aggregate UUID: cfa8e6ee-145f-11ef-a612-d320bd5b74a9
    Namespace Container State: online
           Autodelete Enabled: false
             Application UUID: -
                  Application: -
     Has Metadata Provisioned: true
     
   1 entries were displayed.

8. Utilisez la network interface show -vserver commande pour récupérer les adresses des interfaces de stockage par blocs pour la SVM dans laquelle vous avez créé vos périphériques NVMe.

   ::> network interface show -vserver svm_name -data-protocol nvme-tcp
               Logical               Status     Network            Current                    Current Is 
   Vserver     Interface             Admin/Oper Address/Mask       Node                       Port    Home
   ----------- ----------            ---------- ------------------ -------------              ------- ----
   svm_name
               iscsi_1               up/up      172.31.16.19/20    FSxId0123456789abcdef8-01  e0e     true
               iscsi_2               up/up      172.31.26.134/20   FSxId0123456789abcdef8-02  e0e     true
   2 entries were displayed.

   Note

   Le iscsi_1 LIF est utilisé à la fois pour iSCSI et. NVMe/TCP

   Dans cet exemple, l'adresse IP de iscsi_1 est 172.31.16.19 et iscsi_2 est 172.31.26.134.

Pour découvrir les nœuds NVMe cibles

1. Sur votre client Linux, utilisez la commande suivante pour découvrir les nœuds NVMe cibles. Remplacez iscsi_1_IP par iscsi_1 l'adresse IP de et client_IP l'adresse IP du client.

   Note

   iscsi_1et les iscsi_2 LIF sont utilisés à la fois pour le stockage iSCSI et NVMe.

   ~$ sudo nvme discover -t tcp -w client_IP -a iscsi_1_IP

   Discovery Log Number of Records 4, Generation counter 11
   =====Discovery Log Entry 0======
   trtype:  tcp
   adrfam:  ipv4
   subtype: current discovery subsystem
   treq:    not specified
   portid:  0
   trsvcid: 8009
   subnqn:  nqn.1992-08.com.netapp:sn.656d410a146011efa612d320bd5b74a9:discovery
   traddr:  172.31.26.134
   eflags:  explicit discovery connections, duplicate discovery information
   sectype: none
   =====Discovery Log Entry 1======
   trtype:  tcp
   adrfam:  ipv4
   subtype: current discovery subsystem
   treq:    not specified
   portid:  1
   trsvcid: 8009
   subnqn:  nqn.1992-08.com.netapp:sn.656d410a146011efa612d320bd5b74a9:discovery
   traddr:  172.31.16.19
   eflags:  explicit discovery connections, duplicate discovery information
   sectype: none

2. (Facultatif) Pour transférer un débit supérieur au maximum de 5 Gbit/s (~ 625 Mbit/s) du client unique Amazon EC2 vers votre périphérique NVMe de fichiers, suivez les procédures décrites dans la section Bande passante réseau de l'instance Amazon EC2 du Guide de l'utilisateur Amazon Elastic Compute Cloud pour les instances Linux afin d'établir des sessions supplémentaires.

3. Connectez-vous aux initiateurs cibles avec un délai de perte du contrôleur d'au moins 1 800 secondes, en utilisant à nouveau iscsi_1 l'adresse IP de iscsi_1_IP et l'adresse IP du client pour. client_IP Vos périphériques NVMe sont présentés comme des disques disponibles.

   ~$ sudo nvme connect-all -t tcp -w client_IP -a iscsi_1 -l 1800

4. Utilisez la commande suivante pour vérifier que la pile NVMe a identifié et fusionné les différentes sessions et configuré le multipathing. La commande est renvoyée Y si le multipathing NVMe natif est activé, ce qui est requis pour un basculement automatique et transparent entre vos serveurs de fichiers. Si la commande est renvoyée N ou si le fichier n'existe pas, cela signifie que le multipathing NVMe natif n'est pas activé sur votre noyau Linux et le basculement automatique entre vos serveurs de fichiers n'est pas disponible. Pour plus d'informations, consultez la note figurant dansAvant de commencer.

   ~$ cat /sys/module/nvme_core/parameters/multipath
   Y

5. Utilisez les commandes suivantes pour vérifier que le NVMe-oF paramètre model est défini sur NetApp ONTAP Controller et que l'équilibrage de charge iopolicy est défini sur round-robin pour les ONTAP espaces de noms respectifs afin de les distribuer I/O sur tous les chemins disponibles

   ~$ cat /sys/class/nvme-subsystem/nvme-subsys*/model
   Amazon Elastic Block Store              
   NetApp ONTAP Controller
   ~$ cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
   numa
   round-robin

6. Utilisez la commande suivante pour vérifier que les espaces de noms sont créés et correctement découverts sur l'hôte :

   ~$ sudo nvme list
   Node                  Generic               SN                   Model                                    Namespace  Usage                      Format           FW Rev  
   --------------------- --------------------- -------------------- ---------------------------------------- ---------- -------------------------- ---------------- --------
   /dev/nvme0n1          /dev/ng0n1            vol05955547c003f0580 Amazon Elastic Block Store               0x1         25.77  GB /  25.77  GB    512   B +  0 B   1.0     
   /dev/nvme2n1          /dev/ng2n1            lWB12JWY/XLKAAAAAAAC NetApp ONTAP Controller                  0x1        107.37  GB / 107.37  GB      4 KiB +  0 B   FFFFFFFF

   Le nouvel appareil dans la sortie est/dev/nvme2n1. Ce schéma de dénomination peut varier en fonction de votre installation Linux.

7. Vérifiez que l'état du contrôleur de chaque chemin est actif et que le statut de multiacheminement ANA (Asymmetric Namespace Access) est correct :

   ~$ nvme list-subsys /dev/nvme2n1
   nvme-subsys2 - NQN=nqn.1992-08.com.netapp:sn.656d410a146011efa612d320bd5b74a9:subsystem.rhel
                  hostnqn=nqn.2014-08.org.nvmexpress:uuid:ec2a70bf-3ab2-6cb0-f997-8730057ceb24
                  iopolicy=round-robin
   \
    +- nvme2 tcp traddr=172.31.26.134,trsvcid=4420,host_traddr=172.31.25.143,src_addr=172.31.25.143 live non-optimized
    +- nvme3 tcp traddr=172.31.16.19,trsvcid=4420,host_traddr=172.31.25.143,src_addr=172.31.25.143 live optimized

   Dans cet exemple, la pile NVMe a automatiquement découvert le LIF alternatif de votre système de fichiersiscsi_2, 172.31.26.134.

8. Vérifiez que le NetApp plug-in affiche les valeurs correctes pour chaque périphérique d'ONTAPespace de noms :

   ~$ sudo nvme netapp ontapdevices -o column
   Device           Vserver                   Namespace Path                                     NSID UUID                                   Size     
   ---------------- ------------------------- -------------------------------------------------- ---- -------------------------------------- ---------
   /dev/nvme2n1     fsx                       /vol/nvme_vol1/ns_1                                1    0441c609-3db1-4b0b-aa83-790d0d448ece   107.37GB 

Pour partitionner l'appareil

1. Utilisez la commande suivante pour vérifier que le chemin d'accès à votre device_name nvme2n1 est présent.

   ~$ ls /dev/nvme2n1
   /dev/nvme2n1

2. Partitionnez le disque à l'aide defdisk. Vous allez entrer une invite interactive. Entrez les options dans l'ordre indiqué. Vous pouvez créer plusieurs partitions en utilisant une valeur inférieure à celle du dernier secteur (20971519dans cet exemple).

   Note

   La Last sector valeur varie en fonction de la taille de votre périphérique NVMe (100 Go dans cet exemple).

   ~$ sudo fdisk /dev/nvme2n1

   L'invite fsdisk interactive démarre.

   Welcome to fdisk (util-linux 2.37.4). 
   Changes will remain in memory only, until you decide to write them. 
   Be careful before using the write command. 
   
   Device does not contain a recognized partition table. 
   Created a new DOS disklabel with disk identifier 0x66595cb0. 
   
   Command (m for help): n
   Partition type 
      p primary (0 primary, 0 extended, 4 free) 
      e extended (container for logical partitions) 
   Select (default p): p
   Partition number (1-4, default 1): 1 
   First sector (256-26214399, default 256): 
   Last sector, +sectors or +size{K,M,G,T,P} (256-26214399, default 26214399): 20971519
                                       
   Created a new partition 1 of type 'Linux' and of size 100 GiB.
   Command (m for help): w
   The partition table has been altered.
   Calling ioctl() to re-read partition table. 
   Syncing disks. 

   Après avoir saisiw, votre nouvelle partition /dev/nvme2n1 est disponible. partition_nameIl a le format <device_name><partition_number>. 1a été utilisé comme numéro de partition dans la fdisk commande de l'étape précédente.

3. Créez votre système de fichiers en utilisant /dev/nvme2n1 comme chemin.

   ~$ sudo mkfs.ext4 /dev/nvme2n1

   Le système répond avec la sortie suivante :

   mke2fs 1.46.5 (30-Dec-2021)
   Found a dos partition table in /dev/nvme2n1
   Proceed anyway? (y,N) y
   Creating filesystem with 26214400 4k blocks and 6553600 inodes
   Filesystem UUID: 372fb2fd-ae0e-4e74-ac06-3eb3eabd55fb
   Superblock backups stored on blocks: 
       32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
       4096000, 7962624, 11239424, 20480000, 23887872
   
   Allocating group tables: done                            
   Writing inode tables: done                            
   Creating journal (131072 blocks): done
   Writing superblocks and filesystem accounting information: done  

Pour monter le périphérique NVMe sur le client Linux

1. Créez un répertoire directory_path comme point de montage pour votre système de fichiers sur l'instance Linux.

   ~$ sudo mkdir /directory_path/mount_point

2. Montez le système de fichiers à l'aide de la commande suivante.

   ~$ sudo mount -t ext4 /dev/nvme2n1 /directory_path/mount_point

3. (Facultatif) Si vous souhaitez attribuer à un utilisateur spécifique la propriété du répertoire de montage, remplacez-le username par le nom d'utilisateur du propriétaire.

   ~$ sudo chown username:username /directory_path/mount_point

4. (Facultatif) Vérifiez que vous pouvez lire et écrire des données dans le système de fichiers.

   ~$ echo "Hello world!" > /directory_path/mount_point/HelloWorld.txt
   ~$ cat directory_path/HelloWorld.txt
   Hello world!

   Vous avez créé et monté avec succès un périphérique NVMe sur votre client Linux.