Bevor Sie beginnen Gemeinsame Ressourcennutzung Bereitstellen mit Studio Bereitstellen mit Python Bereitstellen mit der AWS CLI

Modelle für Echtzeit-Inferenzen bereitstellen

Wichtig

Benutzerdefinierte IAM-Richtlinien, die es Amazon SageMaker Studio oder Amazon SageMaker Studio Classic ermöglichen, Amazon-SageMaker-Ressourcen zu erstellen, müssen auch Berechtigungen zum Hinzufügen von Tags zu diesen Ressourcen gewähren. Die Berechtigung zum Hinzufügen von Tags zu Ressourcen ist erforderlich, da Studio und Studio Classic automatisch alle von ihnen erstellten Ressourcen taggen. Wenn eine IAM-Richtlinie Studio und Studio Classic das Erstellen von Ressourcen, aber kein Tagging erlaubt, können bei dem Versuch, Ressourcen zu erstellen, „AccessDenied“-Fehler auftreten. Weitere Informationen finden Sie unter Bereitstellen von Berechtigungen für das Markieren von SageMaker-AI-Ressourcen.

Verwaltete AWS-Richtlinien für Amazon SageMaker AI, die Berechtigungen zum Erstellen von SageMaker-Ressourcen gewähren, enthalten bereits Berechtigungen zum Hinzufügen von Tags während der Erstellung dieser Ressourcen.

Es gibt mehrere Optionen, um ein Modell mithilfe der Hosting-Services von SageMaker AI bereitzustellen. Mit SageMaker Studio können Sie ein Modell interaktiv bereitstellen. Alternativ können Sie ein Modell mithilfe eines AWS SDK programmgesteuert bereitstellen, z. B. mit dem SageMaker Python SDK oder dem SDK für Python (Boto3). Sie können die Bereitstellung auch mithilfe der AWS CLI ausführen.

Bevor Sie beginnen

Bevor Sie ein SageMaker-AI-Modell bereitstellen, suchen und notieren Sie sich Folgendes:

AWS-Region, in der sich der Amazon-S3-Bucket befindet
Pfad des Amazon S3 URI, in dem die Modellartefakte gespeichert sind
IAM-Rolle für SageMaker AI
Docker Amazon ECR URI-Registry-Pfad für das benutzerdefinierte Image, das den Inferenzcode enthält, oder das Framework und die Version eines integrierten Docker-Images, das von AWS unterstützt wird

Eine Liste der in den einzelnen AWS-Region verfügbaren AWS-Services finden Sie unter Regionskarten und Edge-Netzwerke. Weitere Informationen zum Erstellen von IAM-Rollen finden Sie unter Erstellen von IAM-Rollen.

Wichtig

Der Amazon-S3-Bucket, in dem die Modellartefakte gespeichert sind, muss sich in derselben AWS-Region wie das Modell, das Sie erstellen, befinden.

Gemeinsame Ressourcennutzung mit mehreren Modellen

Mit Amazon SageMaker AI können Sie ein oder mehrere Modelle auf einem Endpunkt bereitstellen. Wenn sich mehrere Modelle einen Endpunkt teilen, nutzen sie gemeinsam die Ressourcen, die dort gehostet werden, wie z. B. die ML-Rechen-Instances, CPUs und Accelerators. Die flexibelste Methode, mehrere Modelle auf einem Endpunkt bereitzustellen, besteht darin, jedes Modell als Inferenzkomponente zu definieren.

Inferenzkomponenten

Eine Inferenzkomponente ist ein Hosting-Objekt von SageMaker AI, mit dem Sie ein Modell auf einem Endpunkt bereitstellen können. In den Einstellungen für die Inferenzkomponente geben Sie das Modell, den Endpunkt und die Art und Weise an, wie das Modell die vom Endpunkt gehosteten Ressourcen nutzt. Um das Modell zu spezifizieren, können Sie ein Objekt des SageMaker-AI-Modells oder direkt die Modellartefakte und das Image angeben.

In den Einstellungen können Sie die Ressourcennutzung optimieren, indem Sie anpassen, wie die erforderlichen CPU-Kerne, Accelerators und Speicher dem Modell zugewiesen werden. Sie können mehrere Inferenzkomponenten für einen Endpunkt bereitstellen, wobei jede Inferenzkomponente ein Modell und die für dieses Modell erforderliche Ressourcennutzung enthält.

Nachdem Sie eine Inferenzkomponente bereitgestellt haben, können Sie das zugehörige Modell direkt aufrufen, wenn Sie die InvokeEndpoint-Aktion in der SageMaker-API verwenden.

Inferenzkomponenten bieten die folgenden Vorteile:

Flexibilität: Die Inferenzkomponente entkoppelt die Einzelheiten zum Hosting des Modells vom Endpunkt selbst. Dies bietet mehr Flexibilität und Kontrolle darüber, wie Modelle über einen Endpunkt gehostet und bereitgestellt werden. Sie können mehrere Modelle auf derselben Infrastruktur hosten und je nach Bedarf Modelle zu einem Endpunkt hinzufügen oder daraus entfernen. Sie können jedes Modell unabhängig aktualisieren.
Skalierbarkeit: Sie können angeben, wie viele Kopien jedes Modells gehostet werden sollen, und Sie können eine Mindestanzahl von Kopien festlegen, um sicherzustellen, dass das Modell in der Menge geladen wird, die Sie für die Bearbeitung von Anforderungen benötigen. Sie können jede Kopie einer Inferenzkomponente auf Null herunterskalieren, sodass Platz für eine weitere Kopie zum Hochskalieren geschaffen wird.

SageMaker AI verpackt Ihre Modelle als Inferenzkomponenten, wenn Sie für ihre Bereitstellung Folgendes verwenden:

SageMaker Studio Classic
SageMaker Python SDK zur Bereitstellung eines Modellobjekts (wobei Sie den Endpunkttyp auf EndpointType.INFERENCE_COMPONENT_BASED festlegen)
AWS SDK für Python (Boto3) zur Definition von InferenceComponent-Objekten, die Sie auf einem Endpunkt bereitstellen

Bereitstellen von Modellen mit SageMaker Studio

Führen Sie die folgenden Schritte aus, um Ihr Modell interaktiv über SageMaker Studio zu erstellen und bereitzustellen. Weitere Informationen über Studio finden Sie in der Studio-Dokumentation. Weitere Anleitungen zu verschiedenen Bereitstellungsszenarien finden Sie im Blog Package and deploy classical ML models and LLMs easily with Amazon SageMaker AI – Part 2.

Vorbereiten Ihrer Artefakte und Berechtigungen

Füllen Sie diesen Abschnitt aus, bevor Sie ein Modell in SageMaker Studio erstellen.

Sie haben zwei Möglichkeiten, Ihre eigenen Artefakte zu verwenden und ein Modell in Studio zu erstellen:

Sie können ein vorgefertigtes tar.gz-Archiv verwenden, das Ihre Modellartefakte, benutzerdefinierten Inferenzcode und alle in einer requirements.txt-Datei aufgelisteten Abhängigkeiten enthalten sollte.
SageMaker AI kann Ihre Artefakte für Sie verpacken. Sie müssen nur Ihre Rohmodellartefakte und alle Abhängigkeiten in einer requirements.txt-Datei bereitstellen und SageMaker AI kann Ihnen Standard-Inferenzcode zur Verfügung stellen (oder Sie können den Standardcode mit Ihrem eigenen benutzerdefinierten Inferenzcode überschreiben). SageMaker AI unterstützt diese Option für die folgenden Frameworks: PyTorch, XGBoost.

Sie müssen nicht nur Ihr Modell, Ihre AWS Identity and Access Management (IAM)-Rolle und einen Docker-Container (oder das gewünschte Framework und die gewünschte Version, für die SageMaker AI einen vorgefertigten Container hat) bereitstellen, sondern auch Berechtigungen zum Erstellen und Bereitstellen von Modellen über SageMaker AI Studio erteilen.

Die AmazonSageMakerFullAccess-Richtlinie sollte an Ihre IAM-Rolle angehängt sein, damit Sie auf SageMaker AI und andere relevante Services zugreifen können. Um die Preise der Instance-Typen in Studio anzuzeigen, müssen Sie auch die AWSPriceListServiceFullAccess-Richtlinie anhängen (oder, wenn Sie nicht die gesamte Richtlinie anhängen möchten, die konkrete pricing:GetProducts-Aktion).

Wenn Sie beim Erstellen eines Modells Ihre Modellartefakte hochladen möchten (oder eine Beispiel-Nutzlastdatei für Inferenzempfehlungen hochladen), müssen Sie einen Amazon-S3-Bucket erstellen. Dem Bucket-Namen muss das Wort SageMaker AI vorangestellt werden. Eine andere Groß-/Kleinschreibung von SageMaker AI ist ebenfalls zulässig: Sagemaker oder sagemaker.

Es wird empfohlen, die Benennungskonvention für Buckets zu verwenden: sagemaker-{Region}-{accountID}. Dieser Bucket wird verwendet, um die Artefakte zu speichern, die Sie hochladen.

Nachdem Sie den Bucket erstellt haben, fügen Sie ihm die folgende CORS-Richtlinie (Cross-Origin Resource Sharing) hinzu:


[
    {
        "AllowedHeaders": ["*"],
        "ExposeHeaders": ["Etag"],
        "AllowedMethods": ["PUT", "POST"],
        "AllowedOrigins": ['https://*.sagemaker.aws'],
    }
]

Sie können eine CORS-Richtlinie mit einer der folgenden Methoden an einen Amazon-S3-Bucket anfügen:

über die Seite Bearbeiten von Cross-Origin Resource Sharing (CORS) in der Amazon-S3-Konsole
mit PutBucketCors in der Amazon S3 API

mit dem AWS CLI-Befehl put-bucket-cors:


aws s3api put-bucket-cors --bucket="..." --cors-configuration="..."

Erstellen eines bereitstellbaren Modells

In diesem Schritt erstellen Sie eine bereitstellbare Version Ihres Modells in SageMaker AI, indem Sie Ihre Artefakte zusammen mit zusätzlichen Spezifikationen wie Ihrem gewünschten Container und Framework, benutzerdefiniertem Inferenzcode und Netzwerkeinstellungen bereitstellen.

Erstellen Sie ein bereitstellbares Modell in SageMaker Studio, indem Sie wie folgt vorgehen:

Öffnen Sie die SageMaker-Studio-Anwendung.
Wählen Sie im linken Navigationsbereich Models (Modelle) aus.
Wählen Sie die Registerkarte Bereitstellbare Modelle aus.
Wählen Sie auf der Seite Bereitstellbare Modelle die Option Erstellen aus.
Geben Sie auf der Seite Bereitstellbares Modell erstellen in das Feld Modellname einen Namen für das Modell ein.

Auf der Seite Bereitstellbares Modell erstellengibt es mehrere weitere Abschnitte, die Sie ausfüllen müssen.

Der Abschnitt Container-Definition sieht wie der folgende Screenshot aus:

Screenshot des Abschnitts Container-Definition zum Erstellen eines Modells in Studio

Führen Sie im Abschnitt Containerdefinition Folgendes aus:

Wählen Sie als Containertyp die Option Vorgefertigter Container aus, wenn Sie einen von SageMaker AI verwalteten Container verwenden möchten, oder die Option Eigenen Container verwenden, wenn Sie Ihren eigenen Container haben.
Wenn Sie Vorgefertigter Container ausgewählt haben, wählen Sie das gewünschte Container-Framework, die Framework-Version und den Hardwaretyp aus.
Wenn Sie Eigenen Container verwenden ausgewählt haben, geben Sie einen Amazon-ECR-Pfad für den ECR-Pfad zum Container-Image ein.

Füllen Sie dann den Abschnitt Artefakte aus, der wie der folgende Screenshot aussieht:

Screenshot des Abschnitts Artefakte zum Erstellen eines Modells in Studio

Gehen Sie im Abschnitt Artefakte wie folgt vor:

Wenn Sie eines der Frameworks verwenden, die SageMaker AI für das Verpacken von Modellartefakten unterstützt (PyTorch oder XGBoost), können Sie für Artefakte die Option Artefakte hochladen wählen. Mit dieser Option können Sie einfach Ihre Rohmodellartefakte, Ihren benutzerdefinierten Inferenzcode und Ihre requirements.txt-Datei angeben und SageMaker AI kümmert sich für Sie um die Paketerstellung des Archivs. Gehen Sie wie folgt vor:
1. Wählen Sie für Artefakte die Option Artefakte hochladen aus, um Ihre Dateien weiterhin bereitzustellen. Andernfalls, wenn Sie bereits über ein tar.gz-Archiv verfügen, das Ihre Modelldateien, Ihren Inferenzcode und Ihre requirements.txt-Datei enthält, wählen Sie S3-URI für vorgefertigte Artefakte eingeben aus.
2. Wenn Sie Ihre Artefakte hochladen möchten, geben Sie unter S3-Bucket den Amazon-S3-Pfad zu einem Bucket ein, in dem SageMaker AI Ihre Artefakte nach dem Verpacken speichern soll. Führen Sie anschließend die folgenden Schritte aus.
3. Laden Sie unter Modellartefakte hochladen Ihre Modelldateien hoch.
4. Wählen Sie unter Inferenzcode die Option Standard-Inferenzcode verwenden aus, wenn Sie den Standardcode verwenden möchten, den SageMaker AI zur Beantwortung von Inferenzanforderungen bereitstellt. Wenn Sie stattdessen Ihren eigenen Inferenzcode verwenden möchten, wählen Sie Benutzerdefinierten Inferenzcode hochladen aus.
5. Laden Sie über requirements.txt hochladen eine Textdatei hoch, in der alle Abhängigkeiten aufgeführt sind, die Sie zur Laufzeit installieren möchten.
Wenn Sie kein Framework verwenden, das SageMaker AI für die Paketerstellung von Modellartefakten unterstützt, wird die Option Vorgefertigte Artefakte in Studio angezeigt und Sie müssen alle Ihre bereits vorgefertigten Artefakte als tar.gz-Archiv bereitstellen. Gehen Sie wie folgt vor:
1. Wählen Sie unter Vorgefertigte Artefakte die Option S3-URI für vorgefertigte Modellartefakte eingeben aus, wenn Sie Ihr tar.gz-Archiv bereits auf Amazon S3 hochgeladen haben. Wählen Sie Vorgefertigte Modellartefakte hochladen aus, wenn Sie Ihr Archiv direkt in SageMaker AI hochladen möchten.
2. Wenn Sie S3-URI für vorgefertigte Modellartefakte eingeben ausgewählt haben, geben Sie unter S3-URI den Amazon-S3-Pfad zu Ihrem Archiv ein. Andernfalls wählen Sie das Archiv aus und laden es von Ihrem lokalen Rechner hoch.

Der nächste Abschnitt ist Sicherheit und sieht wie der folgende Screenshot aus:

Screenshot des Abschnitts Sicherheit zum Erstellen eines Modells in Studio

Gehen Sie im Abschnitt Sicherheit wie folgt vor:

Geben Sie unter IAM-Rolle den ARN für eine IAM-Rolle ein.
(Optional) Unter Virtual Private Cloud (VPC) können Sie eine Amazon-VPC zum Speichern Ihrer Modellkonfiguration und Ihrer Artefakte auswählen.
(Optional) Aktivieren Sie die Option Netzwerkisolierung, wenn Sie den Internetzugang Ihres Containers einschränken möchten.

Abschließend können Sie bei Bedarf den Abschnitt Erweiterte Optionen ausfüllen, der wie der folgende Screenshot aussieht:

Screenshot des Abschnitts Erweiterte Optionen zum Erstellen eines Modells in Studio

(Optional) Führen Sie im Abschnitt Erweiterte Optionen Folgendes aus:

Aktivieren Sie die Option Benutzerdefinierte Instance-Empfehlungen, wenn Sie für Ihr neu erstelltes Modell den Job „Amazon SageMaker Inference Recommender“ ausführen möchten. Inference Recommender ist ein Feature, das Ihnen empfohlene Instance-Typen zur Optimierung der Leistung und der Kosten von Inferenzen bietet. Sie können sich diese Instance-Empfehlungen ansehen, wenn Sie sich auf die Bereitstellung Ihres Modells vorbereiten.
Geben Sie unter Umgebungsvariablen hinzufügen die Umgebungsvariablen für Ihren Container als Schlüssel-Wert-Paare ein.
Geben Sie unter Tags beliebige Tags als Schlüssel-Wert-Paare ein.
Wählen Sie nach Abschluss der Modell- und Container-Konfiguration die Option Bereitstellbares Modell erstellen aus.

Sie sollten jetzt über ein Modell in SageMaker Studio verfügen, das für die Bereitstellung bereit ist.

Bereitstellen Ihres Modells

Schließlich stellen Sie das Modell, das Sie im vorherigen Schritt konfiguriert haben, auf einem HTTPS-Endpunkt bereit. Sie können entweder ein einzelnes oder mehrere Modelle für den Endpunkt bereitstellen.

Modell- und Endpunktkompatibilität

Bevor Sie ein Modell auf einem Endpunkt bereitstellen können, müssen Modell und Endpunkt kompatibel sein und dieselben Werte für die folgenden Einstellungen aufweisen:

die IAM-Rolle
die Amazon VPC, einschließlich ihrer Subnetze und Sicherheitsgruppen
die Netzwerkisolierung (aktiviert oder deaktiviert)

Studio verhindert auf folgende Weise, dass Sie Modelle auf inkompatiblen Endpunkten bereitstellen:

Wenn Sie versuchen, ein Modell auf einem neuen Endpunkt bereitzustellen, konfiguriert SageMaker AI den Endpunkt mit kompatiblen Anfangseinstellungen. Wenn Sie die Kompatibilität durch eine Änderung dieser Einstellungen beeinträchtigen, zeigt Studio eine Warnung an und verhindert die Bereitstellung.
Wenn Sie versuchen, eine Bereitstellung auf einem vorhandenen Endpunkt durchzuführen und dieser Endpunkt nicht kompatibel ist, zeigt Studio eine Warnung an und verhindert die Bereitstellung.
Wenn Sie versuchen, einer Bereitstellung mehrere Modelle hinzuzufügen, die nicht miteinander kompatibel sind, verhindert Studio die Bereitstellung dieser Modelle.

Wenn Studio die Warnung zur Modell- und Endpunktinkompatibilität anzeigt, können Sie über die Schaltfläche Details anzeigen prüfen, welche Einstellungen nicht kompatibel sind.

Eine Möglichkeit, ein Modell bereitzustellen, besteht darin, in Studio wie folgt vorzugehen:

Öffnen Sie die SageMaker-Studio-Anwendung.
Wählen Sie im linken Navigationsbereich Models (Modelle) aus.
Wählen Sie auf der Seite Modelle ein oder mehrere Modelle aus der Liste der SageMaker-AI-Modelle aus.
Wählen Sie Bereitstellen.
Öffnen Sie das Dropdown-Menü unter Endpunktname. Sie können entweder einen vorhandenen Endpunkt auswählen oder einen neuen Endpunkt erstellen, auf dem Sie das Modell bereitstellen.
Wählen Sie unter Instance-Typ den Instance-Typ aus, den Sie für den Endpunkt verwenden möchten. Wenn Sie zuvor einen Inference-Recommender-Job für das Modell ausgeführt haben, werden Ihre empfohlenen Instance-Typen in der Liste unter dem Titel Empfohlen angezeigt. Andernfalls werden Ihnen einige voraussichtliche Instances angezeigt, die möglicherweise für Ihr Modell geeignet sind.

Kompatibilität von Instance-Typen für JumpStart
Wenn Sie ein JumpStart-Modell bereitstellen, zeigt Studio nur Instance-Typen an, die das Modell unterstützt.
Geben Sie unter Anfängliche Instance-Anzahl die anfängliche Anzahl der Instances ein, die Sie für Ihren Endpunkt bereitstellen möchten.
Geben Sie unter Maximale Instance-Anzahl die maximale Anzahl von Instances an, die der Endpunkt bereitstellen kann, wenn er entsprechend einem Anstieg des Datenverkehrs skaliert wird.
Wenn es sich bei dem Modell, das Sie bereitstellen, um eines der am häufigsten verwendeten JumpStart-LLMs aus dem Modell-Hub handelt, wird die Option Alternative Konfigurationen hinter den Feldern Instance-Typ und Instance-Anzahl angezeigt.

Bei den beliebtesten JumpStart-LLMs wurden die Instance-Typen durch AWS vorab mit Benchmarks verglichen, um entweder Kosten oder Leistung zu optimieren. Diese Daten können Ihnen bei der Entscheidung helfen, welchen Instance-Typ Sie für die Bereitstellung Ihres LLM verwenden möchten. Wählen Sie Alternative Konfigurationen aus, um ein Dialogfeld zu öffnen, das die vorab geprüften Daten enthält. Das Panel sieht wie im folgenden Screenshot aus:

Gehen Sie im Feld Alternative Konfigurationen wie folgt vor:
1. Auswahl von Instance-Typen Sie können Kosten pro Stunde oder Beste Leistung wählen, um Instance-Typen anzuzeigen, die entweder die Kosten oder die Leistung für das angegebene Modell optimieren. Sie können auch Andere unterstützte Instances auswählen, um eine Liste anderer Instance-Typen anzuzeigen, die mit dem JumpStart-Modell kompatibel sind. Beachten Sie, dass die Auswahl eines Instance-Typs hier alle zuvor in Schritt 6 ausgewählten Instances überschreibt.
2. (Optional) Aktivieren Sie die Option Ausgewählte Konfiguration anpassen, um Max. Token-Gesamtzahl (die maximale Anzahl von Tokens, die Sie zulassen möchten, d. h. die Summe Ihrer Eingabe-Token und der generierten Ausgabe des Modells), Max. Länge des Eingabe-Tokens (die maximale Anzahl von Tokens, die Sie für die Eingabe jeder Anforderung zulassen möchten) und Max. Anzahl gleichzeitiger Anfragen (die maximale Anzahl von Anfragen, die das Modell gleichzeitig verarbeiten kann) anzugeben.
3. Wählen Sie Auswählen, um Ihren Instance-Typ und Ihre Konfigurationseinstellungen zu bestätigen.
Das Feld Modell sollte bereits mit dem Namen des Modells oder der Modelle ausgefüllt sein, das bzw. die Sie bereitstellen. Sie können Modell hinzufügen auswählen, um der Bereitstellung weitere Modelle hinzuzufügen. Füllen Sie für jedes Modell, das Sie hinzufügen, die folgenden Felder aus:
1. Geben Sie unter Anzahl der CPU-Kerne die CPU-Kerne ein, die Sie für die Nutzung des Modells reservieren möchten.
2. Geben Sie unter Mindestanzahl an Kopien die Mindestanzahl von Modellkopien ein, die zu einem bestimmten Zeitpunkt auf dem Endpunkt gehostet werden sollen.
3. Geben Sie unter Min. CPU-Speicher (MB) die Mindestmenge an Arbeitsspeicher (in MB) ein, die das Modell benötigt.
4. Geben Sie für Max. CPU-Speicher (MB) die maximale Speichermenge (in MB) ein, die das Modell verwenden darf.
(Optional) Führen Sie unter Erweiterte Optionen Folgendes aus:
1. Verwenden Sie für die IAM-Rolle entweder die standardmäßige IAM-Ausführungsrolle von SageMaker AI oder geben Sie Ihre eigene Rolle an, die über die erforderlichen Berechtigungen verfügt. Beachten Sie, dass diese IAM-Rolle mit der Rolle identisch sein muss, die Sie beim Erstellen des bereitstellbaren Modells angegeben haben.
2. Unter Virtual Private Cloud (VPC) können Sie eine VPC angeben, in der Sie Ihren Endpunkt hosten möchten.
3. Wählen Sie unter KMS-Verschlüsselungsschlüssel einen AWS KMS-Schlüssel zum Verschlüsseln von Daten auf dem Speicher-Volume aus, das an die ML-Compute-Instance angefügt ist, die den Endpunkt hostet.
4. Aktivieren Sie die Option Netzwerkisolierung aktivieren, um den Internetzugang Ihres Containers einzuschränken.
5. Füllen Sie unter Timeout-Konfiguration die Felder Timeout beim Herunterladen von Modelldaten (Sekunden) und Timeout für die Zustandsprüfung beim Container-Start (Sekunden) aus. Diese Werte bestimmen die maximale Zeit, die SageMaker AI für das Herunterladen des Modells in den Container bzw. das Starten des Containers einräumt.
6. Geben Sie unter Tags beliebige Tags als Schlüssel-Wert-Paare ein.
Anmerkung
SageMaker AI konfiguriert die Einstellungen für IAM-Rolle, VPC und Netzwerkisolation mit Anfangswerten, die mit dem Modell, das Sie bereitstellen, kompatibel sind. Wenn Sie die Kompatibilität durch eine Änderung dieser Einstellungen beeinträchtigen, zeigt Studio eine Warnung an und verhindert die Bereitstellung.

Nachdem Sie die Optionen konfiguriert haben, sollte die Seite wie im folgenden Screenshot aussehen.

Screenshot der Seite Modell bereitstellen in Studio.

Nachdem Sie die Bereitstellung konfiguriert haben, wählen Sie Bereitstellen aus, um den Endpunkt zu erstellen und Ihr Modell bereitzustellen.

Bereitstellen von Modellen mit den Python-SDKs

Mit dem Python-SDK von SageMaker können Sie Ihr Modell auf zwei Arten erstellen. Die erste Möglichkeit besteht darin, ein Modellobjekt aus der Klasse Model oder ModelBuilder zu erstellen. Wenn Sie die Model-Klasse verwenden, um Ihr Model-Objekt zu erstellen, müssen Sie das Modellpaket oder den Inferenzcode (abhängig von Ihrem Modellserver), Skripte für die Serialisierung und Deserialisierung von Daten zwischen dem Client und dem Server sowie alle Abhängigkeiten angeben, die zur Nutzung auf Amazon S3 hochgeladen werden sollen. Alternativ können Sie Ihr Modell mit ModelBuilder erstellen, wofür Sie Modellartefakte oder Inferenzcode bereitstellen. ModelBuilder erfasst automatisch Ihre Abhängigkeiten, leitet die benötigten Serialisierungs- und Deserialisierungsfunktionen ab und verpackt Ihre Abhängigkeiten, um Ihr Model-Objekt zu erstellen. Mehr über ModelBuilder erfahren Sie unter Erstellen eines Modells in Amazon SageMaker AI mit ModelBuilder.

Im folgenden Abschnitt werden beide Methoden beschrieben, mit denen Sie Ihr Modell erstellen und Ihr Modellobjekt bereitstellen können.

Einrichten

Die folgenden Beispiele bereiten den Prozess der Modellbereitstellung vor. Sie importieren die erforderlichen Bibliotheken und definieren die S3-URL, die die Modellartefakte lokalisiert.

Beispiel Modellartefakt-URL

Der folgende Code erstellt eine beispielhafte Amazon-S3-URL. Die URL sucht nach Modellartefakten für ein vortrainiertes Modell in einem Amazon-S3-Bucket.


# Create a variable w/ the model S3 URL

# The name of your S3 bucket:
s3_bucket = "amzn-s3-demo-bucket"
# The directory within your S3 bucket your model is stored in:
bucket_prefix = "sagemaker/model/path"
# The file name of your model artifact:
model_filename = "my-model-artifact.tar.gz"
# Relative S3 path:
model_s3_key = f"{bucket_prefix}/"+model_filename
# Combine bucket name, model file name, and relate S3 path to create S3 model URL:
model_url = f"s3://{s3_bucket}/{model_s3_key}"

Die vollständige Amazon-S3-URL wird in der Variablen model_url gespeichert, die in den folgenden Beispielen verwendet wird.

Übersicht

Es gibt mehrere Möglichkeiten, Modelle mit dem SageMaker Python SDK oder dem SDK für Python (Boto3) bereitzustellen. In den folgenden Abschnitten werden die Schritte zusammengefasst, die Sie für verschiedene mögliche Ansätze ausführen. Diese Schritte werden anhand der folgenden Beispiele veranschaulicht.

SageMaker Python SDK

Mit dem SageMaker Python SDK können Sie Ihr Modell auf eine der folgenden Arten erstellen:

Erstellen eines Modellobjekts anhand der Model-Klasse – Sie müssen das Modellpaket oder den Inferenzcode (abhängig von Ihrem Modellserver), Skripten für die Serialisierung und Deserialisierung von Daten zwischen dem Client und dem Server sowie alle Abhängigkeiten angeben, die zur Nutzung auf Amazon S3 hochgeladen werden sollen.
Erstellen eines Modellobjekt anhand der ModelBuilder-Klasse – Sie stellen Modellartefakte oder Inferenzcode bereit und ModelBuilder erfasst automatisch Ihre Abhängigkeiten, leitet die benötigten Serialisierungs- und Deserialisierungsfunktionen ab und verpackt Ihre Abhängigkeiten, um Ihr Model-Objekt zu erstellen.

Mehr über ModelBuilder erfahren Sie unter Erstellen eines Modells in Amazon SageMaker AI mit ModelBuilder. Weitere Informationen finden Sie auch im Blog Package and deploy classical ML models and LLMs easily with SageMaker AI – Part 1.

In den folgenden Beispielen werden beide Methoden beschrieben, mit denen Sie Ihr Modell erstellen und Ihr Modellobjekt bereitstellen können. Führen Sie die folgenden Schritte aus, um auf diese Weise ein Modell bereitzustellen:

Definieren Sie die Endpunktressourcen, die dem Modell mit einem ResourceRequirements-Objekt zugewiesen werden sollen.
Erstellen Sie ein Modellobjekt aus der Klasse ModelBuilder oder Model. Das ResourceRequirements-Objekt ist in den Modelleinstellungen angegeben.
Stellen Sie das Modell mithilfe der deploy-Methode des Model-Objekts auf einem Endpunkt bereit.

boto3 inference components

Die folgenden Beispiele zeigen, wie Sie ein Modell einer Inferenzkomponente zuweisen und diese dann auf einem Endpunkt bereitstellen. Führen Sie die folgenden Schritte aus, um ein Modell auf diese Weise bereitzustellen:

(Optional) Erstellen Sie mithilfe der create_model-Methode ein SageMaker-AI-Modellobjekt.
Geben Sie die Einstellungen für Ihren Endpunkt an, indem Sie ein Endpunktkonfigurationsobjekt erstellen. Verwenden Sie hierfür die create_endpoint_config-Methode.
Erstellen Sie Ihren Endpunkt mithilfe der create_endpoint-Methode und geben Sie in Ihrer Anforderung die Endpunktkonfiguration an, die Sie erstellt haben.
Erstellen Sie mithilfe der create_inference_component-Methode eine Inferenzkomponente. In den Einstellungen geben Sie ein Modell an, indem Sie entweder
- ein SageMaker-AI-Modellobjekt angeben oder
- den Modell-Image-URI und die S3-URL angeben.
Sie weisen dem Modell auch Endpunktressourcen zu. Durch die Erstellung der Inferenzkomponente stellen Sie das Modell auf dem Endpunkt bereit. Sie können mehrere Modelle auf einem Endpunkt bereitstellen, indem Sie mehrere Inferenzkomponenten erstellen – eine für jedes Modell.

boto3 models (without inference components)

Die folgenden Beispiele zeigen, wie Sie ein Modellobjekt erstellen und das Modell anschließend auf einem Endpunkt bereitstellen. Führen Sie die folgenden Schritte aus, um ein Modell auf diese Weise bereitzustellen:

Erstellen Sie mithilfe der create_model-Methode ein SageMaker-AI-Modell.
Geben Sie die Einstellungen für Ihren Endpunkt an, indem Sie ein Endpunktkonfigurationsobjekt erstellen. Verwenden Sie hierfür die create_endpoint_config-Methode. In der Endpunktkonfiguration weisen Sie das Modellobjekt einer Produktionsvariante zu.
Erstellen Sie Ihren Endpunkt mithilfe der create_endpoint-Methode. Geben Sie in Ihrer Anforderung die Endpunktkonfiguration an, die Sie erstellt haben.

Wenn Sie den Endpunkt erstellen, stellt SageMaker AI die Endpunktressourcen und das Modell auf dem Endpunkt bereit.

Konfiguration

In den folgenden Beispielen werden die Ressourcen konfiguriert, die Sie für die Bereitstellung eines Modells auf einem Endpunkt benötigen.

SageMaker Python SDK

Im folgenden Beispiel werden einem Modell mit einem ResourceRequirements-Objekt Endpunktressourcen zugewiesen. Zu diesen Ressourcen gehören CPU-Kerne, Accelerators und Speicher. Anschließend erstellt das Beispiel ein Modellobjekt aus der Model-Klasse. Alternativ können Sie ein Modellobjekt erstellen, indem Sie die ModelBuilder-Klasse instanziieren und build ausführen. Diese Methode wird auch im Beispiel gezeigt. ModelBuilder bietet eine einheitliche Schnittstelle für die Modellpaketierung und bereitet in diesem Fall ein Modell für eine große Bereitstellung vor. Das Beispiel verwendet ModelBuilder, um ein Hugging-Face-Modell zu konstruieren. (Sie können auch ein JumpStart-Modell übergeben.) Sobald Sie das Modell erstellt haben, können Sie die Ressourcenanforderungen im Modellobjekt angeben. Im nächsten Schritt verwenden Sie dieses Objekt, um das Modell auf einem Endpunkt bereitzustellen.


resources = ResourceRequirements(
    requests = {
        "num_cpus": 2,  # Number of CPU cores required:
        "num_accelerators": 1, # Number of accelerators required
        "memory": 8192,  # Minimum memory required in Mb (required)
        "copies": 1,
    },
    limits = {},
)

now = datetime.now()
dt_string = now.strftime("%d-%m-%Y-%H-%M-%S")
model_name = "my-sm-model"+dt_string

# build your model with Model class
model = Model(
    name = "model-name",
    image_uri = "image-uri",
    model_data = model_url,
    role = "arn:aws:iam::111122223333:role/service-role/role-name",
    resources = resources,
    predictor_cls = Predictor,
)
                        
# Alternate mechanism using ModelBuilder
# uncomment the following section to use ModelBuilder
/*
model_builder = ModelBuilder(
    model="<HuggingFace-ID>", # like "meta-llama/Llama-2-7b-hf"
    schema_builder=SchemaBuilder(sample_input,sample_output),
    env_vars={ "HUGGING_FACE_HUB_TOKEN": "<HuggingFace_token>}" }
)

# build your Model object
model = model_builder.build()

# create a unique name from string 'mb-inference-component'
model.model_name = unique_name_from_base("mb-inference-component")

# assign resources to your model
model.resources = resources
*/

boto3 inference components

Im folgenden Beispiel wird ein Endpunkt mit der create_endpoint_config-Methode konfiguriert. Sie weisen diese Konfiguration einem Endpunkt zu, wenn Sie ihn erstellen. In der Konfiguration definieren Sie eine oder mehrere Produktionsvarianten. Für jede Variante können Sie den Instance-Typ auswählen, den Amazon SageMaker AI bereitstellen soll, und Sie können die verwaltete Instance-Skalierung aktivieren.


endpoint_config_name = "endpoint-config-name"
endpoint_name = "endpoint-name"
inference_component_name = "inference-component-name"
variant_name = "variant-name"

sagemaker_client.create_endpoint_config(
    EndpointConfigName = endpoint_config_name,
    ExecutionRoleArn = "arn:aws:iam::111122223333:role/service-role/role-name",
    ProductionVariants = [
        {
            "VariantName": variant_name,
            "InstanceType": "ml.p4d.24xlarge",
            "InitialInstanceCount": 1,
            "ManagedInstanceScaling": {
                "Status": "ENABLED",
                "MinInstanceCount": 1,
                "MaxInstanceCount": 2,
            },
        }
    ],
)

boto3 models (without inference components)

Beispiel Modelldefinition

Das folgende Beispiel definiert ein SageMaker-AI-Modell mit der create_model-Methode in AWS SDK für Python (Boto3).


model_name = "model-name"

create_model_response = sagemaker_client.create_model(
    ModelName = model_name,
    ExecutionRoleArn = "arn:aws:iam::111122223333:role/service-role/role-name",
    PrimaryContainer = {
        "Image": "image-uri",
        "ModelDataUrl": model_url,
    }
)

In diesem Beispiel wird Folgendes festgelegt:

ModelName: Ein Name für Ihr Modell (in diesem Beispiel wird es als String-variable namens model_name gespeichert).
ExecutionRoleArn: Der Amazon-Ressourcenname (ARN) der IAM-Rolle, die Amazon SageMaker AI annehmen kann, um auf Modellartefakte und Docker-Images zur Bereitstellung auf ML-Compute-Instances zuzugreifen oder für Batch-Transformationsaufträge.
PrimaryContainer: Der Speicherort des primären Docker-Image mit Inferenzcode, zugehörigen Artefakten und benutzerdefinierter Umgebungs-Map, die der Inferenz-Code verwendet, wenn das Modell für die Voraussagen bereitgestellt wird.

Beispiel Endpunktkonfiguration

Im folgenden Beispiel wird ein Endpunkt mit der create_endpoint_config-Methode konfiguriert. Amazon SageMaker AI verwendet diese Konfiguration für den Einsatz von Modellen. In der Konfiguration legen Sie ein oder mehrere mit der create_model-Methode erstellte Modelle zur Bereitstellung sowie die Ressourcen fest, die Amazon SageMaker AI zur Verfügung stellen soll.


endpoint_config_response = sagemaker_client.create_endpoint_config(
    EndpointConfigName = "endpoint-config-name", 
    # List of ProductionVariant objects, one for each model that you want to host at this endpoint:
    ProductionVariants = [
        {
            "VariantName": "variant-name", # The name of the production variant.
            "ModelName": model_name, 
            "InstanceType": "ml.p4d.24xlarge",
            "InitialInstanceCount": 1 # Number of instances to launch initially.
        }
    ]
)

In diesem Beispiel werden die folgenden Schlüssel für das ProductionVariants-Feld angegeben:

VariantName: Der Name der Produktionsvariante
ModelName: Der Name des Modells, das Sie hosten möchten. Dies ist der Name, den Sie beim Erstellen des Modells angegeben haben.
InstanceType: DerCompute-Instances-Typ. Eine Liste der unterstützten Compute-Instance-Typen und Preise für jeden Instance-Typ finden Sie im Feld InstanceType in https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html und unter SageMaker-AI-Preise.

Bereitstellen

In den folgenden Beispielen wird ein Modell für einen Endpunkt bereitgestellt.

SageMaker Python SDK

Im folgenden Beispiel wird das Modell mit der deploy-Methode des Modellobjekts auf einem HTTPS-Echtzeitendpunkt bereitgestellt. Wenn Sie sowohl für die Erstellung als auch für die Bereitstellung des Modells einen Wert für das resources-Argument angeben, haben die Ressourcen, die Sie für die Bereitstellung angeben, Vorrang.


predictor = model.deploy(
    initial_instance_count = 1,
    instance_type = "ml.p4d.24xlarge", 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
    resources = resources,
)

Als instance_type ist im Beispiel der Name des Amazon-EC2-Instance-Typs für das Modell angegeben. Im Feld initial_instance_count ist die anfängliche Anzahl von Instances angegeben, auf denen der Endpunkt ausgeführt werden soll.

Das folgende Codebeispiel zeigt einen weiteren Fall, in dem Sie ein Modell auf einem Endpunkt und dann ein anderes Modell auf demselben Endpunkt bereitstellen. In diesem Fall müssen Sie denselben Endpunktnamen für die deploy-Methoden beider Modelle angeben.


# Deploy the model to inference-component-based endpoint
falcon_predictor = falcon_model.deploy(
    initial_instance_count = 1,
    instance_type = "ml.p4d.24xlarge", 
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
    endpoint_name = "<endpoint_name>"
    resources = resources,
)

# Deploy another model to the same inference-component-based endpoint
llama2_predictor = llama2_model.deploy( # resources already set inside llama2_model
    endpoint_type = EndpointType.INFERENCE_COMPONENT_BASED,
    endpoint_name = "<endpoint_name>"  # same endpoint name as for falcon model
)

boto3 inference components

Sobald Sie eine Endpunktkonfiguration haben, verwenden Sie die Methode create_endpoint, um Ihren Endpunkt zu erstellen. Der Name des Endpunkts muss innerhalb einer AWS-Region in Ihrem AWS-Konto eindeutig sein.

Im folgenden Beispiel wird ein Endpunkt unter Verwendung der in der Anfrage angegebenen Endpunktkonfiguration erstellt. Amazon SageMaker AI verwendet den Endpunkt für die Bereitstellung von Ressourcen.


sagemaker_client.create_endpoint(
    EndpointName = endpoint_name,
    EndpointConfigName = endpoint_config_name,
)

Nachdem Sie einen Endpunkt erstellt haben, können Sie einen oder mehrere Modelle darauf bereitstellen, indem Sie Inferenzkomponenten erstellen. Im folgenden Beispiel wird eine Inferenzkomponente mit der create_inference_component-Methode erstellt.


sagemaker_client.create_inference_component(
    InferenceComponentName = inference_component_name,
    EndpointName = endpoint_name,
    VariantName = variant_name,
    Specification = {
        "Container": {
            "Image": "image-uri",
            "ArtifactUrl": model_url,
        },
        "ComputeResourceRequirements": {
            "NumberOfCpuCoresRequired": 1, 
            "MinMemoryRequiredInMb": 1024
        }
    },
    RuntimeConfig = {"CopyCount": 2}
)

boto3 models (without inference components)

Beispiel Bereitstellung

Stellen Sie die Endpunktkonfiguration für SageMaker AI bereit. Der Service startet die ML-Compute-Instances und stellt die Modelle gemäß der Konfiguration bereit.

Sobald Sie Ihr Modell und Ihre Endpunktkonfiguration haben, verwenden Sie die create_endpoint-Methode, um Ihren Endpunkt zu erstellen. Der Name des Endpunkts muss innerhalb einer AWS-Region in Ihrem AWS-Konto eindeutig sein.


create_endpoint_response = sagemaker_client.create_endpoint(
    # The endpoint name must be unique within an AWS Region in your AWS account:
    EndpointName = "endpoint-name"
    # The name of the endpoint configuration associated with this endpoint:
    EndpointConfigName = "endpoint-config-name")

Bereitstellen von Modellen mit der AWS CLI

Sie können ein Modell auf einem Endpunkt bereitstellen, indem Sie die AWS CLI verwenden.

Übersicht

Wenn Sie ein Modell mit der AWS CLI bereitstellen, ist die Verwendung einer Inferenzkomponente optional. In den folgenden Abschnitten werden die Befehle zusammengefasst, die Sie für beide Ansätze ausführen. Diese Befehle werden anhand der folgenden Beispiele veranschaulicht.

With inference components

Um ein Modell mit einer Inferenzkomponente bereitzustellen, führen Sie die folgenden Schritte aus:

(Optional) Erstellen Sie ein Modell mit dem create-model-Befehl.
Geben Sie die Einstellungen für Ihren Endpunkt an, indem Sie eine Endpunktkonfiguration erstellen. Führen Sie hierfür den create-endpoint-config-Befehl aus.
Erstellen Sie Ihren Endpunkt mithilfe des create-endpoint-Befehls. Geben Sie im Befehlstext die Endpunktkonfiguration an, die Sie erstellt haben.
Erstellen Sie mit dem create-inference-component-Befehl eine Inferenzkomponente. In den Einstellungen geben Sie ein Modell an, indem Sie entweder
- ein SageMaker-AI-Modellobjekt angeben oder
- den Modell-Image-URI und die S3-URL angeben.
Sie weisen dem Modell auch Endpunktressourcen zu. Durch die Erstellung der Inferenzkomponente stellen Sie das Modell auf dem Endpunkt bereit. Sie können mehrere Modelle auf einem Endpunkt bereitstellen, indem Sie mehrere Inferenzkomponenten erstellen – eine für jedes Modell.

Without inference components

Um ein Modell ohne Verwendung einer Inferenzkomponente bereitzustellen, führen Sie die folgenden Schritte aus:

Erstellen Sie ein SageMaker-AI-Modell mit dem create-model-Befehl.
Geben Sie die Einstellungen für Ihren Endpunkt an, indem Sie ein Endpunktkonfigurationsobjekt erstellen. Verwenden Sie hierfür den Befehl create-endpoint-config. In der Endpunktkonfiguration weisen Sie das Modellobjekt einer Produktionsvariante zu.
Erstellen Sie Ihren Endpunkt mithilfe des create-endpoint-Befehls. Geben Sie im Befehlstext die Endpunktkonfiguration an, die Sie erstellt haben.

Wenn Sie den Endpunkt erstellen, stellt SageMaker AI die Endpunktressourcen und das Modell auf dem Endpunkt bereit.

Konfiguration

In den folgenden Beispielen werden die Ressourcen konfiguriert, die Sie für die Bereitstellung eines Modells auf einem Endpunkt benötigen.

With inference components

Beispiel Befehl create-endpoint-config

Im folgenden Beispiel wird mit dem create-endpoint-config-Befehl eine Endpunktkonfiguration erstellt.


aws sagemaker create-endpoint-config \
--endpoint-config-name endpoint-config-name \
--execution-role-arn arn:aws:iam::111122223333:role/service-role/role-name\
--production-variants file://production-variants.json

In diesem Beispiel definiert die Datei production-variants.json eine Produktionsvariante mit dem folgenden JSON:


[
    {
        "VariantName": "variant-name",
        "ModelName": "model-name",
        "InstanceType": "ml.p4d.24xlarge",
        "InitialInstanceCount": 1
    }
]

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "EndpointConfigArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint-config/endpoint-config-name"
}

Without inference components

Beispiel create-model-Befehl

Im folgenden Beispiel wird ein Modell mit dem Befehl create-model erstellt.


aws sagemaker create-model \
--model-name model-name \
--execution-role-arn arn:aws:iam::111122223333:role/service-role/role-name \
--primary-container "{ \"Image\": \"image-uri\", \"ModelDataUrl\": \"model-s3-url\"}"

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "ModelArn": "arn:aws:sagemaker:us-west-2:111122223333:model/model-name"
}

Beispiel Befehl create-endpoint-config

Im folgenden Beispiel wird mit dem create-endpoint-config-Befehl eine Endpunktkonfiguration erstellt.


aws sagemaker create-endpoint-config \
--endpoint-config-name endpoint-config-name \
--production-variants file://production-variants.json

In diesem Beispiel definiert die Datei production-variants.json eine Produktionsvariante mit dem folgenden JSON:


[
    {
        "VariantName": "variant-name",
        "ModelName": "model-name",
        "InstanceType": "ml.p4d.24xlarge",
        "InitialInstanceCount": 1
    }
]

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "EndpointConfigArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint-config/endpoint-config-name"
}

Bereitstellen

In den folgenden Beispielen wird ein Modell für einen Endpunkt bereitgestellt.

With inference components

Beispiel create-endpoint-Befehl

Das folgende Beispiel erstellt einen Endpunkt mit dem Befehl create-endpoint.


aws sagemaker create-endpoint \
--endpoint-name endpoint-name \
--endpoint-config-name endpoint-config-name

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/endpoint-name"
}

Beispiel Befehl create-inference-component

Im folgenden Beispiel wird mit dem Befehl create-inference-component eine Inferenzkomponente erstellt.


aws sagemaker create-inference-component \
--inference-component-name inference-component-name \
--endpoint-name endpoint-name \
--variant-name variant-name \
--specification file://specification.json \
--runtime-config "{\"CopyCount\": 2}"

In diesem Beispiel definiert die Datei specification.json den Container und die Rechenressourcen mit dem folgenden JSON-Code:


{
    "Container": {
        "Image": "image-uri",
        "ArtifactUrl": "model-s3-url"
    },
    "ComputeResourceRequirements": {
        "NumberOfCpuCoresRequired": 1,
        "MinMemoryRequiredInMb": 1024
    }
}

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "InferenceComponentArn": "arn:aws:sagemaker:us-west-2:111122223333:inference-component/inference-component-name"
}

Without inference components

Beispiel create-endpoint-Befehl

Das folgende Beispiel erstellt einen Endpunkt mit dem Befehl create-endpoint.


aws sagemaker create-endpoint \
--endpoint-name endpoint-name \
--endpoint-config-name endpoint-config-name

Wenn der Befehl erfolgreich ausgeführt wurde, antwortet die AWS CLI mit dem ARN für die Ressource, die Sie erstellt haben.


{
    "EndpointArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/endpoint-name"
}

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Echtzeit-Inferenz

Aufrufen von Modellen

Modelle für Echtzeit-Inferenzen bereitstellen

Wichtig

Bevor Sie beginnen

Wichtig

Gemeinsame Ressourcennutzung mit mehreren Modellen

Inferenzkomponenten

Bereitstellen von Modellen mit SageMaker Studio

Vorbereiten Ihrer Artefakte und Berechtigungen

Erstellen eines bereitstellbaren Modells

Führen Sie im Abschnitt Containerdefinition Folgendes aus:

Gehen Sie im Abschnitt Artefakte wie folgt vor:

Gehen Sie im Abschnitt Sicherheit wie folgt vor:

(Optional) Führen Sie im Abschnitt Erweiterte Optionen Folgendes aus:

Bereitstellen Ihres Modells

Modell- und Endpunktkompatibilität

Kompatibilität von Instance-Typen für JumpStart

Anmerkung

Bereitstellen von Modellen mit den Python-SDKs

Einrichten

Beispiel Importanweisungen

Beispiel Importanweisungen

Beispiel Importanweisungen

Beispiel Modellartefakt-URL

Übersicht

Konfiguration

Beispiel Modelldefinition

Beispiel Endpunktkonfiguration

Bereitstellen

Beispiel Bereitstellung

Bereitstellen von Modellen mit der AWS CLI

Übersicht

Konfiguration

Beispiel Befehl create-endpoint-config

Beispiel create-model-Befehl

Beispiel Befehl create-endpoint-config

Bereitstellen

Beispiel create-endpoint-Befehl

Beispiel Befehl create-inference-component

Beispiel create-endpoint-Befehl