Bereitstellen eines Modells in Studio

Um JumpStart Foundation-Modelle bereitzustellen, navigieren Sie zu einer Modelldetailkarte in der Studio-Benutzeroberfläche. Weitere Informationen zum Öffnen JumpStart in Studio finden Sie unterIn Studio öffnen JumpStart. Nachdem Sie zur Modelldetailseite Ihrer Wahl navigiert haben, wählen Sie in der oberen rechten Ecke der Studio-Benutzeroberfläche die Option Bereitstellen aus. Folgen Sie anschließend den Schritten unter Bereitstellen von Modellen mit SageMaker Studio.

Amazon bietet SageMaker JumpStart auch optimierte Bereitstellungen an, die vordefinierte Bereitstellungskonfigurationen bieten, die für bestimmte Anwendungsfälle wie die Generierung, Zusammenfassung von Inhalten oder Interaktionen im Chat-Stil konzipiert sind. Wenn Sie ein unterstütztes Modell bereitstellen, können Sie Ihren Zielanwendungsfall und eine Constraint-Optimierung auswählen — kostenoptimiert, durchsatzoptimiert, latenzoptimiert oder ausgewogen — und Amazon konfiguriert den Endpunkt SageMaker JumpStart automatisch für dieses Szenario. Dadurch erhalten Sie Einblick in wichtige Leistungskennzahlen wie P50-Latenz, Time-to-First-Token (TTFT) und Durchsatz und stellen gleichzeitig sicher, dass die Bereitstellung auf Ihre Arbeitslast abgestimmt ist. Öffnen Sie zunächst die Detailseite eines unterstützten Modells in Studio, wählen Sie Bereitstellen aus und konfigurieren Sie im Leistungsbereich Ihre optimierte Bereitstellung.