Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Was ist Ray
Ray ist ein einheitliches Open-Source-Framework für die Skalierung von KI- und Python-Anwendungen. Es bietet die Rechenebene für die parallele Verarbeitung, sodass Sie kein Experte für verteilte Systeme sein müssen, um Arbeiten in einem Cluster auszuführen. Sie schreiben weiter PyTorch, JAX oder vLLM, und Ray kümmert sich um die Skalierung. Die vollständige Übersicht finden Sie unter Überblick
Das Ray-Framework
Ray hat drei Ebenen:
-
Ray AI Libraries, eine Reihe von Python-Bibliotheken für allgemeine maschinelle Lernaufgaben.
-
Ray Core, eine allgemeine Bibliothek für verteiltes Rechnen, die Python-Anwendungen skaliert.
-
Ray-Cluster, eine Reihe von Worker-Knoten, die mit einem Hauptknoten verbunden sind. Ein Cluster kann eine feste Größe haben oder automatisch auf die Ressourcen skaliert werden, die Ihre Anwendungen anfordern.
Ray AI-Bibliotheken
-
Ray Data für verteilte Datenvorverarbeitung und Batch-Inferenz.
-
Ray Train für verteiltes Training, datenparallel und modellparallel.
-
Ray Tune für paralleles Hyperparameter-Tuning.
-
Ray Serve für die Online-Modellbereitstellung.
-
RLLib für verstärkendes Lernen.
Verstärktes Lernen auf Ray
RLLib ist die Bibliothek für verstärktes Lernen, die Ray ausliefert. Darüber hinaus bauen die Frameworks für das Reinforcement Learning, die für die Nachschulung großer Sprachmodelle verwendet werden, auf Ray für ihre verteilte Ebene auf, da in einem einzigen Durchlauf mehrere verschiedene Rollen auf den GPUs gleichzeitig platziert und koordiniert werden müssen: Rollout-Generierung, Belohnungsbewertung und Policy-Training. Ray Core gibt ihnen dafür die Platzierung und Planung der Schauspieler.
Zu den Frameworks, die auf Ray laufen, gehören verl, OpenRLHF und NVIDIA. NeMo-RL Jedes wird als normaler Ray-Workload ausgeführt, sodass alles, was Ray unterstützt, hier auf die gleiche Weise läuft.
Was Ray für Sie erledigt
Ray kümmert sich um die Arbeit an verteilten Systemen, die Ihnen sonst zufallen würden:
-
Orchestrierung der Komponenten einer verteilten Anwendung.
-
Planung, wann und wo Aufgaben ausgeführt werden.
-
Fehlertoleranz, sodass Aufgaben trotz Fehlern abgeschlossen werden.
-
Automatische Skalierung der Ressourcen entsprechend der Nachfrage.
Ray weiter HyperPod
HyperPod führt Open Source Ray unverändert über den KubeRay Operator aus. Er forkt Ray nicht, verändert nicht die Ray-Laufzeit und führt auch keinen proprietären Scheduler ein. RayCluster, RayJobRayCronJob, und RayService verhalten sich so, wie sie es im Upstream tun, und Manifeste, die Sie bereits ausführen, funktionieren weiterhin. Informationen zur Einrichtung finden Sie unterErste Schritte.
