Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Nozioni di base
Ray on HyperPod funziona con l' KubeRay operatore open source e le sue risorse personalizzate, invariate. Per iniziare è necessario solo un HyperPod cluster orchestrato da Amazon EKS e l' KubeRay operatore installato su di esso. HyperPod quindi aggiunge funzionalità a Ray che puoi adottare in due modi.
Nozioni di base
Questi due passaggi sono tutto ciò di cui hai bisogno per eseguire Ray HyperPod.
-
Crea un HyperPod cluster orchestrato da Amazon EKS. Per ulteriori informazioni, consulta Creazione di un SageMaker HyperPod cluster con l'orchestrazione di Amazon EKS.
-
Installa l' KubeRay operatore sul cluster. Gestisce ogni risorsa personalizzata Ray. Per ulteriori informazioni, consulta Installazione KubeRay su HyperPod Amazon EKS.
Ray è attivo HyperPod
HyperPod aggiunge funzionalità a Ray e ci sono due modi per adottarle. La configurazione è la stessa in entrambi i casi ed entrambi utilizzano lo stesso Ray open source e le stesse risorse KubeRay personalizzate. Ciò che differisce è il modo in cui i team utilizzano le funzionalità: puoi iniziare con una e aggiungere l'altra in un secondo momento.
Purpose-built esperienza di data scientist. Amazon SageMaker Studio riunisce queste funzionalità in un'unica interfaccia. Puoi creare e gestire cluster Ray, svilupparti in modo interattivo in uno spazio collegato, accedere a Ray Dashboard tramite un collegamento al browser e aprire i dashboard Grafana, senza scrivere manifesti Kubernetes. Configura prima Amazon Studio per Ray. SageMaker Per ulteriori informazioni, consulta Configurare Studio per Ray. Puoi quindi attivare ciascuna funzionalità singolarmente, come il componente aggiuntivo SageMaker AI Spaces per lo sviluppo interattivo e il componente aggiuntivo HyperPod Observability per le dashboard.
Integrazione delle funzionalità nella piattaforma ML interna esistente. Scegli questa opzione se esegui la tua piattaforma ML interna su Amazon EKS e desideri conservare strumenti e flussi di lavoro. Collega l' HyperPod elaborazione al tuo cluster Amazon EKS e adotti solo le funzionalità che ti mancano. Niente richiede Amazon SageMaker Studio. Ogni funzionalità è un componente aggiuntivo separato o un pacchetto Python, quindi puoi adottarne uno e smettere.
Ogni funzionalità è disponibile in entrambi i modi. L'esperienza creata appositamente racchiude ciascuna di esse in un'interfaccia web e sulla tua piattaforma utilizzi le stesse funzionalità. kubectl
| Funzionalità | Purpose-built esperienza in Amazon Studio SageMaker | La tua piattaforma |
|---|---|---|
| Gestione dei carichi di lavoro Ray | Crea e gestisci cluster Ray nell'interfaccia web di Amazon SageMaker Studio | kubectle i tuoi manifesti RayCluster |
| IDE e notebook | Interfaccia utente Web per creare ambienti di sviluppo Ray | Allega uno spazio con kubectl |
| Accesso a Ray Dashboard e invio di lavori | One-click accesso autenticato e invio remoto dei lavori dai notebook Studio Space e dal Code Editor | kubectlcomandi per generare collegamenti Ray Dashboard |
| Osservabilità | Dashboard Grafana del componente aggiuntivo Observability HyperPod | Lo stesso componente aggiuntivo o il tuo Prometheus |
| Condivisione delle risorse e accodamento dei lavori con Task governance Coda con governance delle attività | Visualizza le metriche di allocazione delle risorse durante la creazione del carico di lavoro Ray e inviale a una coda dall'interfaccia utente | tramite kubectl |
| Formazione resiliente (ripristino automatico dei nodi, rilevamento dei lavori interrotti, checkpoint su più livelli) | Supportato a livello di infrastruttura | Supportato a livello di infrastruttura |
| Inferenza accelerata (Ray Serve, cache KV gestita su più livelli, scalabilità automatica) | Supportato a livello di infrastruttura | Supportato a livello di infrastruttura |
