Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Bereitstellen öffentlich verfügbarer Basismodelle mit der JumpStartModel-Klasse
Mithilfe des SageMaker Python SDK können Sie in nur wenigen Codezeilen einen integrierten Algorithmus oder ein vortrainiertes Modell auf einem SageMaker KI-Endpunkt bereitstellen.
-
Suchen Sie zunächst die Modell-ID für das Modell Ihrer Wahl in der Tabelle In vortrainierte Modelle integrierte Algorithmen
. -
Definieren Sie Ihr Modell mithilfe der Modell-ID als JumpStart Modell.
from sagemaker.jumpstart.model import JumpStartModel model_id ="huggingface-text2text-flan-t5-xl"my_model = JumpStartModel(model_id=model_id) -
Verwenden Sie die
deploy-Methode, um Ihr Modell automatisch für die Inferenz bereitzustellen. In diesem Beispiel verwenden wir das Modell FLAN-T5 XL von Hugging Face.predictor = my_model.deploy() -
Anschließend können Sie mit der
predict-Methode eine Inferenz mit dem bereitgestellten Modell ausführen.question ="What is Southern California often abbreviated as?"response = predictor.predict(question) print(response)
Anmerkung
In diesem Beispiel wird das Basismodell FLAN-T5 XL verwendet, das für eine Vielzahl von Anwendungsfällen zur Textgenerierung geeignet ist, darunter die Beantwortung von Fragen, die Zusammenfassung, die Erstellung von Chatbots und mehr. Weitere Informationen zu Anwendungsfällen für Modelle finden Sie unter Verfügbare Basismodelle.
Weitere Informationen zur JumpStartModel Klasse und ihren Parametern finden Sie unter JumpStartModel
Standard-Instance-Typen überprüfen
Sie können bei der Bereitstellung eines vortrainierten Modells mithilfe der JumpStartModel-Klasse optional bestimmte Modellversionen oder Instance-Typen einbeziehen. Alle JumpStart Modelle haben einen Standard-Instanztyp. Rufen Sie den standardmäßigen Bereitstellungs-Instance-Typ mit dem folgenden Code ab:
from sagemaker import instance_types instance_type = instance_types.retrieve_default( model_id=model_id, model_version=model_version, scope="inference") print(instance_type)
Mit der instance_types.retrieve() Methode werden alle unterstützten Instanztypen für ein bestimmtes JumpStart Modell angezeigt.
Verwenden von Inferenzkomponenten, um mehrere Modelle auf einem gemeinsamen Endpunkt bereitzustellen
Eine Inferenzkomponente ist ein SageMaker KI-Hosting-Objekt, mit dem Sie ein oder mehrere Modelle auf einem Endpunkt bereitstellen können, um die Flexibilität und Skalierbarkeit zu erhöhen. Sie müssen das ändern, endpoint_type damit Ihr JumpStart Modell inference-component-based nicht mehr der standardmäßige modellbasierte Endpunkt ist.
predictor = my_model.deploy( endpoint_name ='jumpstart-model-id-123456789012', endpoint_type =EndpointType.INFERENCE_COMPONENT_BASED)
Weitere Informationen zum Erstellen von Endpunkten mit Inferenzkomponenten und zum Bereitstellen von SageMaker KI-Modellen finden Sie unter. Gemeinsame Ressourcennutzung mit mehreren Modellen
Überprüfen gültiger Eingabe- und Ausgabeinferenzformate
Um gültige Dateneingabe- und -ausgabeformate auf Inferenz zu überprüfen, können Sie die retrieve_options()-Methode aus den Klassen Serializers und Deserializers verwenden.
print(sagemaker.serializers.retrieve_options(model_id=model_id, model_version=model_version)) print(sagemaker.deserializers.retrieve_options(model_id=model_id, model_version=model_version))
Überprüfen unterstützter Inhalts- und Annahmetypen
Sie können die retrieve_options()-Methode ebenfalls verwenden, um die unterstützten Inhalts- und Annahmetypen zu überprüfen.
print(sagemaker.content_types.retrieve_options(model_id=model_id, model_version=model_version)) print(sagemaker.accept_types.retrieve_options(model_id=model_id, model_version=model_version))
Weitere Informationen zu Dienstprogrammen finden Sie unter Hilfsprogramme. APIs
