IDE e notebook con Ray

Lo sviluppo interattivo collega un IDE o una sessione di notebook a un cluster Ray in esecuzione, in modo da scrivere ed eseguire Python distribuito su un computer live. Si sviluppa in uno spazio e si gestiscono cluster e spazi in Studio.

Uno spazio è lo spazio di lavoro: un JupyterLab editor di codice o una sessione IDE remota con una propria memoria, un'immagine e un cluster Ray collegato. ray.init()all'interno dello spazio si connette a quel cluster. Studio è l'interfaccia web: crei cluster, crei spazi e li connetti lì, quindi esegui il lavoro all'interno dello spazio.

Lo spazio funziona in un proprio pod, disaccoppiato dal pod Ray head. Quando lo colleghi a un cluster, lo spazio si unisce a quel cluster come nodo di lavoro a calcolo zero. Con questa configurazione, lo spazio ray.init() interno si connette direttamente al cluster. La configurazione prevede due passaggi: creare lo spazio, quindi collegare un cluster Ray ad esso. È possibile allegare un cluster esistente o crearne uno nuovo.

Casi d’uso

Ambienti di sviluppo su un cluster multi-tenant. Un team di piattaforma gestisce un cluster Kubernetes e offre a ciascun data scientist il proprio spazio su di esso. Ogni spazio ha la propria memoria e la propria immagine e si collega a un cluster Ray nello stesso namespace dello spazio.

Sviluppo interattivo in un notebook. Si sviluppa un'applicazione Ray dall'inizio alla fine in un'unica sessione: preparazione dei dati, formazione e inferenza. Si esegue l'iterazione e il debug man mano che si procede e si visualizzano i risultati sul posto. È inoltre possibile iniziare una lunga sessione di formazione dal notebook, in quanto consente di HyperPod recuperare i nodi sottostanti difettosi. Per ulteriori informazioni, consulta Ripristino automatico dei nodi con Ray.

Basta con una kubectl port-forward conchiglia nell'headpod.

Le pagine seguenti descrivono la configurazione e l'uso, in ordine.