Installa i driver pubblici NVIDIA - Amazon Elastic Compute Cloud
Opzione 1: Installazione solo tramite driverOpzione 2: Installazione del toolkit CUDA

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Installa i driver pubblici NVIDIA

Se i driver Marketplace AWS AMIs descritti in Utilizzalo per includere AMIs i driver NVIDIA non si adattano al tuo caso d'uso, puoi installare i driver pubblici e portare la tua licenza. Le opzioni di installazione sono:

 

Considerazioni sul tipo di istanza P6-B200 e P6-B300

Le piattaforme P6-B200 e P6-B300 sono uniche in quanto espongono le schede di interfaccia di rete Mellanox ConnectX () all'istanza come dispositivi. NICs PCIe Queste NICs non agiscono come tipiche interfacce di rete, ma fungono invece da NVSwitch bridge che forniscono un percorso di controllo per inizializzare e configurare la, che è la topologia dell'interconnessione GPU. NVFabric NVLink

Per inizializzare completamente il sistema, NVIDIA Fabric Manager deve configurare e stabilire la topologia. NVFabric NVSwitch Ciò consente ai moduli del InfiniBand kernel di comunicare con Mellanox ConnectX. NICs

NVIDIA Fabric Manager è incluso nel toolkit CUDA. Consigliamo Opzione 2: Installazione con il toolkit CUDA per questo tipo di istanza.

Opzione 1: Installazione solo tramite driver

Per installare un driver specifico, accedi alla tua istanza e scarica il driver pubblico NVIDIA a 64 bit per il tipo di istanza da http://www.nvidia. com/Download/Find.aspx. Per Tipo di prodotto, Serie di prodotti e Prodotto, utilizza le opzioni mostrate nella seguente tabella.

Quindi segui le istruzioni di installazione del Local Repository nella Guida all'installazione dei driver NVIDIA.

Nota

I tipi di istanze P6-B200 e P6-B300 richiedono l'installazione e la configurazione di pacchetti aggiuntivi forniti in bundle con NVIDIA CUDA Toolkit. Per ulteriori informazioni, consulta le istruzioni per la distribuzione Linux in Opzione 2: Installazione con il toolkit CUDA.

Istanza Tipo di prodotto Serie di prodotti Prodotto Versione driver minima
G3 Tesla M-Class M60 --
G4dn Tesla T-Series T4 --
G5 Tesla Serie A A10 470.00 o versioni successive
G5g1 Tesla T-Series NVIDIA T4G 470.82.01 o versioni successive
G6 Tesla Serie L L4 525.0 o versioni successive
G6e Tesla Serie L L40S 535.0 o versioni successive
Gr6 Tesla Serie L L4 525.0 o versioni successive
P2 Tesla Serie K K80 --
P3 Tesla Serie V V100 --
P4d Tesla Serie A A100 --
P4de Tesla Serie A A100 --
P5 Tesla Serie H H100 530 o versioni successive
P5e Tesla Serie H H200 550 o versioni successive
P5en Tesla Serie H H200 550 o versioni successive
P6-B2002 Tesla Serie HGX B200 570 o versione successiva
P6e-00 GB2 Tesla Serie HGX B200 570 o versione successiva
P6-B300 2 Tesla Serie HGX B300 580 o versione successiva

1 Il sistema operativo per le istanze G5g è Linux aarch64.

2 Per i tipi di istanze P6-B200 e P6-B300, esistono requisiti di installazione aggiuntivi per configurare NVIDIA Fabric Manager.

Opzione 2: Installazione con il toolkit CUDA

Le istruzioni di installazione variano leggermente in base al sistema operativo. Per installare driver pubblici sulla tua istanza con il toolkit NVIDIA CUDA, segui le istruzioni relative al sistema operativo dell’istanza. Ad esempio, per i sistemi operativi non mostrati qui, segui le istruzioni per il tuo sistema operativo e l’architettura del tipo di istanza sul sito web di NVIDIA Developer. Per ulteriori informazioni, consulta CUDA Toolkit Downloads.

Per l'architettura del tipo di istanza o altre specifiche, consulta le specifiche di calcolo accelerato nel riferimento Amazon EC2 Instance Types.

Questa sezione tratta l’installazione di un toolkit NVIDIA CUDA su un’istanza Amazon Linux 2023. Gli esempi di comandi in questa sezione si basano su un’architettura x86_64.

Per i comandi arm64-sbsa, consulta CUDA Toolkit Downloads e seleziona le opzioni che si applicano alla tua distribuzione. Le istruzioni vengono visualizzate dopo aver effettuato la selezione finale.

Prerequisito

Prima di installare il toolkit e i driver, esegui il seguente comando per assicurarti di avere la versione corretta delle intestazioni kernel e dei pacchetti di sviluppo.

[ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
Scarica il toolkit e i driver

Scegli il tipo di installazione da utilizzare per la tua istanza e segui i passaggi associati.

RPM local installation

Puoi seguire queste istruzioni per scaricare il bundle del repository di installazione del toolkit CUDA sulla tua istanza, poi estrarre e registrare il bundle specificato.

Per visualizzare le istruzioni sul sito web per sviluppatori NVIDIA, consulta CUDA Toolkit Downloads.

[ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
[ec2-user ~]$ sudo rpm -i cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
RPM network installation

Puoi seguire queste istruzioni per registrare il repository CUDA con il gestore di pacchetti sulla tua istanza. Quando esegui i passaggi di installazione, il gestore di pacchetti scarica solo i pacchetti necessari.

Per visualizzare le istruzioni sul sito web per sviluppatori NVIDIA, consulta CUDA Toolkit Downloads.

[ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
[ec2-user ~]$ sudo dpkg -i cuda-keyring_1.1-1_all.deb

I passaggi rimanenti sono gli stessi sia per l’installazione locale che per quella di rete.

  1. Completa l’installazione del toolkit CUDA

    [ec2-user ~]$ sudo dnf clean all
[ec2-user ~]$ sudo dnf install cuda-toolkit -y

  2. Installa la variante del driver relativa al modulo open kernel

    [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y

  3. Installa GPUDirect Storage and Fabric Manager

    [ec2-user ~]$ sudo dnf install nvidia-gds -y
[ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y

  4. Abilita Fabric Manager e la persistenza dei driver

    [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager
[ec2-user ~]$ sudo systemctl enable nvidia-persistenced

  5. (Solo P6-B200 e P6-B300) Questi tipi di istanze richiedono l'installazione e la configurazione di pacchetti aggiuntivi forniti in bundle con NVIDIA CUDA Toolkit.

    1. Installa NVIDIA Link Subnet Manager e ibstat.

      [ec2-user ~]$ sudo dnf install nvlink5

    2. Abilita il caricamento automatico del modulo Infiniband all’avvio.

      [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf

  6. Riavvia l’istanza

    [ec2-user ~]$ sudo reboot

Questa sezione tratta l’installazione di un toolkit NVIDIA CUDA su un’istanza Ubuntu 24.04. Gli esempi di comandi in questa sezione si basano su un’architettura x86_64.

Per i comandi arm64-sbsa, consulta CUDA Toolkit Downloads e seleziona le opzioni che si applicano alla tua distribuzione. Le istruzioni vengono visualizzate dopo aver effettuato la selezione finale.

Prerequisito

Prima di installare il toolkit e i driver, esegui il seguente comando per assicurarti di avere la versione corretta delle intestazioni kernel e dei pacchetti di sviluppo.

$ apt install linux-headers-$(uname -r)
Scarica il toolkit e i driver

Scegli il tipo di installazione da utilizzare per la tua istanza e segui i passaggi associati.

RPM local installation

Puoi seguire queste istruzioni per scaricare il bundle del repository di installazione del toolkit CUDA sulla tua istanza, poi estrarre e registrare il bundle specificato.

Per visualizzare le istruzioni sul sito web per sviluppatori NVIDIA, consulta CUDA Toolkit Downloads.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
$ sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
RPM network installation

Puoi seguire queste istruzioni per registrare il repository CUDA con il gestore di pacchetti sulla tua istanza. Quando esegui i passaggi di installazione, il gestore di pacchetti scarica solo i pacchetti necessari.

Per visualizzare le istruzioni sul sito web per sviluppatori NVIDIA, consulta CUDA Toolkit Downloads.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
$ sudo dpkg -i cuda-keyring_1.1-1_all.deb

I passaggi rimanenti sono gli stessi sia per l’installazione locale che per quella di rete.

  1. Completa l’installazione del toolkit CUDA

    $ sudo apt update
$ sudo apt install cuda-toolkit -y

  2. Installa la variante del driver relativa al modulo open kernel

    $ sudo apt install nvidia-open -y

  3. Installa Storage and Fabric Manager GPUDirect 

    $ sudo apt install nvidia-gds -y
$ sudo apt install nvidia-fabricmanager -y

  4. Abilita Fabric Manager e la persistenza dei driver

    $ sudo systemctl enable nvidia-fabricmanager
$ sudo systemctl enable nvidia-persistenced

  5. (Solo P6-B200 e P6-B300) Questi tipi di istanze richiedono l'installazione e la configurazione di pacchetti aggiuntivi forniti in bundle con NVIDIA CUDA Toolkit.

    1. Installa i driver di dispositivo e le utilità di diagnostica specifici più recenti. InfiniBand

      $ sudo apt install linux-modules-extra-$(uname -r) -y
$ sudo apt install infiniband-diags -y

    2. Installa NVIDIA Link Subnet Manager.

      $ sudo apt install nvlsm -y

  6. Riavvia l’istanza

    sudo reboot

  7. Aggiorna il percorso e aggiungi la seguente variabile di ambiente.

    $ export PATH=${PATH}:/usr/local/cuda-13.0/bin
$ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-13.0/lib64

Per installare il driver NVIDIA su Windows, segui questi passaggi:

  1. Aprire la cartella in cui è stato scaricato il driver e avviare il file di installazione. Seguire le istruzioni per installare il driver e riavviare l’istanza come necessario.

  2. Disabilita la scheda video denominata Scheda video di base Microsoft contrassegnata da un’icona di avviso utilizzando Gestione dispositivi. Installare le funzionalità Windows Media Foundation e Quality Windows Audio Video Experience.

    Importante

    Non disattivare la scheda video denominata Scheda video remota di Microsoft. Se la Scheda video remota di Microsoft è disabilitata, la connessione potrebbe essere interrotta e i tentativi di connessione all’istanza dopo il riavvio potrebbero fallire.

  3. Aprire Gestione dispositivi per verificare che la GPU funzioni correttamente.

  4. Per ottenere prestazioni ottimali dalla GPU, completare le fasi di ottimizzazione in Ottimizza le impostazioni della GPU sulle istanze Amazon EC2 .