Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ray weiter SageMaker HyperPod
Ray ist ein einheitliches Open-Source-Framework für die Skalierung von KI- und Python-Anwendungen. Es bietet die Rechenebene für die parallele Verarbeitung, sodass Sie kein Experte für verteilte Systeme sein müssen, um Arbeiten in einem Cluster auszuführen. Ray Core verteilt die Arbeit, und die Ray-KI-Bibliotheken decken die Bereiche Datenverarbeitung, verteiltes Training, Hyperparameter-Tuning, Reinforcement Learning und Model Serving ab. Weitere Informationen finden Sie in der Ray-Dokumentation unter
Ray on SageMaker HyperPod führt Ihre HyperPod Ray-Workloads auf Computern aus, die von Amazon EKS mithilfe des KubeRay Open-Source-Operators orchestriert werden. Ihr Ray-Code, die Ray-APIs und die KubeRay benutzerdefinierten Ressourcen sind unverändert.
Bleiben Sie vollständig auf Open Source Ray ausgerichtet und fügen Sie Funktionen HyperPod hinzu, anstatt irgendeinen Teil davon zu ersetzen:
-
Eine speziell entwickelte Weboberfläche zur Bedienung von Ray-Workloads in Amazon SageMaker Studio, die alle unten aufgeführten Funktionen unter einer einzigen Oberfläche vereint.
-
Interaktive Entwicklung, bei der eine JupyterLab Code-Editor- oder Remote-IDE-Sitzung an einen Ray-Cluster angehängt und eine Verbindung hergestellt wird.
ray.init() -
Sicherer Ray-Dashboard-Zugriff über einen authentifizierten Browserlink, ohne.
kubectl port-forward -
Ein verwalteter mehrstufiger KV-Cache, der die Zeit bis zum ersten Token verkürzt, die JumpStart Modellbereitstellung und verwaltete Karpenter Autoscaling für Ray Serve.
-
Zuweisung von Rechenleistung im Team, prioritätsbasierte Planung und Ausleihe und Ausleihe ungenutzter Rechenleistung über Task Governance. HyperPod
-
Ray-Metriken und Grafana-Dashboards, die vom Observability-Add-on bereitgestellt werden. HyperPod
-
Resilientes Training mit automatischer Node-Recovery, Erkennung hängengebliebener Jobs und abgestufter Checkpoints auf der Infrastrukturebene.
Sie können all dies übernehmen oder nur die Funktionen installieren, die Ihnen fehlen. Weitere Informationen zu den beiden Ansätzen finden Sie unterErste Schritte.
Voraussetzungen
Ray on HyperPod erfordert einen HyperPod Cluster, der von Amazon EKS orchestriert wird. Weitere Informationen zum Erstellen eines solchen Systems finden Sie unterErstellen eines SageMaker HyperPod Clusters mit Amazon EKS-Orchestrierung.
Regionen
Ray on HyperPod ist überall dort verfügbar, AWS-Regionen wo SageMaker HyperPod die Amazon EKS-Orchestrierung unterstützt wird. Die Liste der Regionen finden Sie unterAWS-Regionen unterstützt von SageMaker HyperPod.
