Optimieren von Grundlagenmodellen
Die Grundlagenmodelle, auf die Sie über Amazon SageMaker Canvas zugreifen können, können Ihnen bei einer Reihe von allgemeinen Aufgaben helfen. Wenn Sie jedoch einen bestimmten Anwendungsfall haben und maßgeschneiderte Antworten auf der Grundlage Ihrer eigenen Daten wünschen, können Sie ein Grundlagenmodell optimieren.
Zur Feinabstimmung eines Grundlagenmodells stellen Sie einen Datensatz bereit, der aus Beispiel-Prompts und Modellantworten besteht. Anschließend trainieren Sie das Grundlagenmodell anhand der Daten. Schließlich ist das optimierte Grundlagenmodell in der Lage, Ihnen spezifischere Antworten zu geben.
Die folgende Liste enthält die Grundlagenmodelle, die Sie in Canvas optimieren können:
Titan Express
Falcon-7B
Falcon-7B-Instruct
Falcon-40B-Instruct
Falcon-40B
Flan-T5-Large
Flan-T5-Xl
Flan-T5-Xxl
MPT-7B
MPT-7B-Instruct
Bei der Feinabstimmung eines Modells können Sie in der Canvas-Anwendung auf detailliertere Informationen zu jedem Grundlagenmodell zugreifen. Weitere Informationen finden Sie unter Optimieren Sie das Modell..
In diesem Thema wird die Feinabstimmung von Grundlagenmodellen in Canvas beschrieben.
Bevor Sie beginnen
Stellen Sie vor der Feinabstimmung eines Grundlagenmodells sicher, dass Sie über die Berechtigungen für einsatzbereite Modelle in Canvas und über eine AWS Identity and Access Management-Ausführungsrolle verfügen, die eine Vertrauensbeziehung mit Amazon Bedrock unterhält, sodass Amazon Bedrock Ihre Rolle übernehmen und gleichzeitig die Grundlagenmodelle optimieren kann.
Beim Einrichten oder Bearbeiten Ihrer Domain von Amazon SageMaker AI müssen Sie 1) die Konfigurationsberechtigungen für gebrauchsfertige Canvas-Modelle aktivieren und 2) eine Amazon-Bedrock-Rolle erstellen oder angeben. Dabei handelt es sich um eine IAM-Ausführungsrolle, mit der SageMaker AI eine Vertrauensbeziehung zu Amazon Bedrock herstellt. Weitere Informationen zum Konfigurieren dieser Einstellungen finden Sie unter Voraussetzungen für die Einrichtung von Amazon SageMaker Canvas.
Sie können die Amazon-Bedrock-Rolle manuell konfigurieren, wenn Sie lieber Ihre eigene IAM-Ausführungsrolle verwenden möchten (anstatt SageMaker AI eine für Sie erstellen zu lassen). Weitere Informationen zur Konfiguration der Vertrauensstellung Ihrer eigenen IAM-Ausführungsrolle mit Amazon Bedrock finden Sie unter Erteilen von Berechtigungen zur Verwendung von Amazon-Bedrock-Features und Features der generativen KI in Canvas.
Sie benötigen außerdem einen Datensatz, der für die Feinabstimmung von großen Sprachmodellen (LLMs) formatiert ist. Im Folgenden finden Sie eine Liste der Anforderungen für Ihren Datensatz:
-
Der Datensatz muss tabellarisch sein und mindestens zwei Spalten mit Textdaten enthalten – eine Eingabespalte (die Beispiel-Prompts an das Modell enthält) und eine Ausgabespalte (die Beispielantworten des Modells enthält).
Ein Beispiel ist folgendes:
Eingabe Output Was sind Ihre Versandbedingungen?
Wir bieten kostenlosen Versand für alle Bestellungen über 50 USD. Für Bestellungen unter 50 USD wird eine Versandgebühr von 5,99 USD berechnet.
Wie kann ich einen Artikel zurücksenden?
Um einen Artikel zurückzugeben, besuchen Sie bitte unser Rücksendezentrum und folgen Sie den Anweisungen. Sie müssen Ihre Bestellnummer und den Grund für die Rücksendung angeben.
Ich habe Probleme mit meinem Produkt. Was sollte ich tun?
Bitte kontaktieren Sie unser Kundensupport-Team und wir helfen Ihnen gerne bei der Behebung des Problems.
-
Wir empfehlen, dass der Datensatz mindestens 100 Textpaare (Zeilen mit entsprechenden Eingabe- und Ausgabeelementen) enthält. Dadurch wird sichergestellt, dass das Grundlagenmodell über genügend Daten für die Feinabstimmung verfügt, und die Genauigkeit der Antworten wird erhöht.
-
Jedes Eingabe- und Ausgabeelement sollte maximal 512 Zeichen enthalten. Alles, was länger ist, wird bei der Feinabstimmung des Grundlagenmodells auf 512 Zeichen reduziert.
Bei der Feinabstimmung eines Amazon-Bedrock-Modells müssen Sie die Amazon-Bedrock-Kontingente einhalten. Weitere Informationen finden Sie unter Kontingente für Modellanpassungen im Benutzerhandbuch für Amazon Bedrock.
Weitere Informationen zu den allgemeinen Datensatzanforderungen und Einschränkungen in Canvas finden Sie unter Erstellen eines Datensatzes.
Feinabstimmung eines Grundlagenmodells
Sie können ein Grundlagenmodell mit einer der folgenden Methoden in der Canvas-Anwendung optimieren:
-
Wählen Sie in einem Chat zum Generieren, Extrahieren und Zusammenfassen von Inhalten mit einem Grundlagenmodell das Symbol Modell optimieren (
) aus. -
Wenn Sie in einem Chat mit einem Grundlagenmodell die Antwort zwei- oder mehrmals neu generiert haben, bietet Ihnen Canvas die Option zur Feinabstimmung des Modells. Der folgende Screenshot zeigt ein Beispiel, wie dies aussieht.
-
Auf der Seite Meine Modelle können Sie ein neues Modell erstellen, indem Sie Neues Modell und dann Grundlagenmodell optimieren auswählen.
-
Auf der Startseite Einsatzbereite Modelle können Sie die Option Eigenes Modell erstellen und dann im Dialogfeld Neues Modell erstellen die Option Grundlagenmodell optimieren auswählen.
-
Beim Durchsuchen Ihrer Datensätze auf der Registerkarte Data Wrangler können Sie einen Datensatz auswählen und Ein Modell erstellen auswählen. Wählen Sie dann Grundlagenmodell optimieren aus.
Nachdem Sie mit der Feinabstimmung eines Modells begonnen haben, gehen Sie wie folgt vor:
Wählen Sie eine Datenbank aus
Wählen Sie bei der Feinabstimmung eines Modells auf der Registerkarte Auswählen die Daten aus, anhand derer Sie das Grundlagenmodell trainieren möchten.
Wählen Sie entweder einen vorhandenen Datensatz aus oder erstellen Sie einen neuen, der die im Abschnitt Bevor Sie beginnen aufgeführten Anforderungen erfüllt. Informationen zum Erstellen eines Datensatzes finden Sie unter Erstellen eines Datensatzes.
Wenn Sie einen Datensatz ausgewählt oder erstellt haben und bereit sind, fortzufahren, wählen Sie Datensatz auswählen aus.
Optimieren Sie das Modell.
Nachdem Sie Ihre Daten ausgewählt haben, können Sie nun mit dem Training und der Feinabstimmung des Modells beginnen.
Gehen Sie auf der Registerkarte Optimieren folgendermaßen vor:
(Optional) Wählen Sie Weitere Informationen zu unseren Grundlagenmodellen aus, um weitere Informationen zu den einzelnen Modellen zu erhalten und Sie bei der Entscheidung zu unterstützen, welches oder welche Grundlagenmodelle Sie einsetzen möchten.
Öffnen Sie für Wählen Sie bis zu 3 Grundlagenmodelle aus das Dropdown-Menü und wählen Sie bis zu 3 Grundlagenmodelle (bis zu 2 JumpStart-Modelle und 1 Amazon-Bedrock-Modell) aus, die Sie während des Trainingsjobs optimieren möchten. Durch die Feinabstimmung mehrerer Grundlagenmodelle können Sie deren Leistung vergleichen und letztendlich das für Ihren Anwendungsfall am besten geeignete Modell als Standardmodell auswählen. Weitere Hinweise zu Standardmodellen finden Sie unter Anzeigen von Modellkandidaten in der Modell-Bestenliste.
Wählen Sie für Eingabespalte auswählen die Spalte mit Textdaten in Ihrem Datensatz aus, die die Beispielmodell-Prompts enthält.
Wählen Sie für Ausgabespalte auswählen die Spalte mit Textdaten in Ihrem Datensatz aus, die die Beispielmodell-Antworten enthält.
-
(Optional) Um erweiterte Einstellungen für den Trainingsjob zu konfigurieren, wählen Sie Modell konfigurieren aus. Weitere Informationen zu den erweiterten Einstellungen für die Modellerstellung finden Sie unter Erweiterte Konfigurationen für die Modellerstellung.
Führen Sie im Pop-up-Fenster Modell konfigurieren die folgenden Schritte aus:
Bei Hyperparametern können Sie für jedes Modell, das Sie ausgewählt haben, die Epochenzahl, die Batchgröße, die Lernrate und die Aufwärmschritte für die Lernrate anpassen. Weitere Informationen zu diesen Parametern finden Sie im Abschnitt Hyperparameter in der JumpStart-Dokumentation.
Bei der Datenteilung können Sie Prozentsätze angeben, wie Ihre Daten zwischen dem Trainingssatz und dem Validierungssatz aufgeteilt werden sollen.
Für Max. Laufzeit des Auftrags können Sie festlegen, wie lange Canvas den Build-Auftrag maximal ausführt. Dieses Feature steht nur für JumpStart-Grundlagenmodelle zur Verfügung.
Nachdem Sie die Einstellungen konfiguriert haben, wählen Sie Speichern aus.
Wählen Sie Feinabstimmung aus, um mit dem Training der ausgewählten Grundlagenmodelle zu beginnen.
Nachdem die Feinabstimmung begonnen hat, können Sie die Seite verlassen. Wenn das Modell auf der Seite Meine Modelle als Bereit angezeigt wird, ist es einsatzbereit, und Sie können nun die Leistung Ihres optimierten Grundlagenmodells analysieren.
Analysieren des optimierten Grundlagenmodells
Auf der Registerkarte Analysieren Ihres optimierten Grundlagenmodells können Sie die Leistung des Modells sehen.
Auf dieser Seite finden Sie auf der Registerkarte Übersicht die Perplexitäts- und Verlustwerte sowie Analysen, die die Verbesserung des Modells im Laufe des Trainings visualisieren. Auf dem Screenshot unten sehen Sie die Registerkarte Übersicht.
Auf dieser Seite können Sie die folgenden Visualisierungen sehen:
Die Perplexitätskurve misst, wie gut das Modell das nächste Wort in einer Sequenz vorhersagt oder wie grammatikalisch korrekt die Ausgabe des Modells ist. Im Idealfall nimmt der Wert ab, wenn sich das Modell während des Trainings verbessert, was zu einer Kurve führt, die sich mit der Zeit absenkt und flacher wird.
Die Verlustkurve quantifiziert die Differenz zwischen der korrekten Ausgabe und der vom Modell vorhergesagten Ausgabe. Eine Verlustkurve, die im Laufe der Zeit abnimmt und flacher wird, deutet darauf hin, dass das Modell seine Fähigkeit verbessert, genaue Vorhersagen zu treffen.
Auf der Registerkarte Erweiterte Metriken werden Ihnen die Hyperparameter und zusätzliche Metriken für Ihr Modell angezeigt. Sie sieht wie im folgenden Screenshot aus:
Die Registerkarte Erweiterte Metriken enthält die folgenden Informationen:
-
Der Abschnitt Erklärbarkeit enthält die Hyperparameter. Dabei handelt es sich um Werte, die vor dem Auftrag festgelegt wurden, um die Feinabstimmung des Modells zu steuern. Wenn Sie in den erweiterten Einstellungen des Modells im Abschnitt Optimieren Sie das Modell. keine benutzerdefinierten Hyperparameter angegeben haben, wählt Canvas die Standard-Hyperparameter für Sie aus.
Bei JumpStart-Modellen steht Ihnen auch die erweiterte Metrik ROUGE (Recall-Oriented Understudy for Gisting Evaluation)
zur Verfügung, mit der die Qualität der vom Modell generierten Zusammenfassungen bewertet wird. Sie misst, wie gut das Modell die wichtigsten Punkte einer Passage zusammenfassen kann. Im Abschnitt Artefakte finden Sie Links zu Artefakten, die während der Feinabstimmung generiert wurden. Sie können auf die in Amazon S3 gespeicherten Schulungs- und Validierungsdaten sowie auf den Link zum Modellbewertungsbericht zugreifen (weitere Informationen finden Sie im folgenden Absatz).
Um mehr Einblicke in die Modellbewertung zu erhalten, können Sie einen Bericht herunterladen, der mit SageMaker Clarify generiert wurde. Dieses Feature kann Ihnen helfen, Verzerrungen in Ihrem Modell und Ihren Daten zu erkennen. Generieren Sie zunächst den Bericht, indem Sie unten auf der Seite die Option Bewertungsbericht erstellen auswählen. Nachdem der Bericht generiert wurde, können Sie den vollständigen Bericht herunterladen, indem Sie auf Bericht herunterladen klicken oder zum Abschnitt Artefakte zurückkehren.
Sie können auch auf ein Jupyter Notebook zugreifen, das Ihnen zeigt, wie Sie Ihren Feinabstimmungsauftrag in Python-Code replizieren können. Sie können dies verwenden, um Ihren Feinabstimmungsauftrag zu replizieren oder programmatische Änderungen daran vorzunehmen oder ein tieferes Verständnis dafür zu erlangen, wie Canvas Ihr Modell optimiert. Weitere Informationen zu Modell-Notebooks und wie Sie auf sie zugreifen können finden Sie unter Herunterladen eines Modell-Notebooks.
Weitere Informationen zur Interpretation der Informationen auf der Registerkarte Analysieren Ihres optimierten Grundlagenmodells finden Sie unter dem Thema Modellbewertung.
Nachdem Sie die Registerkarten Überblick und Erweiterte Metriken analysiert haben, können Sie auch die Modell-Bestenliste öffnen, in der die Liste der während des Builds trainierten Grundlagenmodelle angezeigt wird. Das Modell mit der niedrigsten Verlustrate gilt als das Modell mit der besten Leistung und wird als Standardmodell ausgewählt. Dabei handelt es sich um das Modell, dessen Analyse Sie auf der Registerkarte Analysieren sehen. Sie können nur das Standardmodell testen und bereitstellen. Weitere Informationen zur Modell-Bestenliste und zum Ändern des Standardmodells finden Sie unter Anzeigen von Modellkandidaten in der Modell-Bestenliste.
Testen eines optimierten Grundlagenmodells in einem Chat
Nachdem Sie die Leistung eines optimierten Grundlagenmodells analysiert haben, möchten Sie es vielleicht testen oder seine Antworten mit dem Basismodell vergleichen. Sie können ein optimiertes Grundlagenmodell in einem Chat mit dem Feature Inhalt generieren, extrahieren und zusammenfassen testen.
Starten Sie einen Chat mit einem optimierten Modell, indem Sie eine der folgenden Methoden wählen:
Wählen Sie auf der Registerkarte Analysieren des optimierten Modells die Option In einsatzbereiten Grundlagenmodellen testen aus.
Wählen Sie auf der Seite Einsatzbereite Modelle von Canvas die Option Inhalt generieren, extrahieren und zusammenfassen aus. Wählen Sie dann Neuer Chat und anschließend die Version des Modells aus, die Sie testen möchten.
Das Modell wird in einem Chat gestartet und Sie können damit wie mit jedem anderen Grundlagenmodell interagieren. Sie können dem Chat weitere Modelle hinzufügen und deren Ergebnisse vergleichen. Weitere Informationen zur Funktionalität von Chats finden Sie unter Grundlagenmodelle mit generativer KI in SageMaker Canvas.
Operationalisieren von optimierten Grundlagenmodellen
Nach der Feinabstimmung Ihres Modells in Canvas können Sie wie folgt vorgehen:
Registrieren Sie das Modell in der SageMaker-Model-Registry, um es in die MLOps-Prozesse Ihres Unternehmens zu integrieren. Weitere Informationen finden Sie unter Registrieren einer Modellversion in der Model Registry von SageMaker AI.
Stellen Sie das Modell auf einem SageMaker-AI-Endpunkt bereit und senden Sie Anfragen an das Modell von Ihrer Anwendung oder Website aus, um Vorhersagen (oder Inferenz) zu erhalten. Weitere Informationen finden Sie unter Stellen Sie Ihre Modelle auf einem Endpunkt bereit.
Wichtig
Sie können nur auf JumpStart basierende, optimierte Grundlagenmodelle registrieren und bereitstellen, keine auf Amazon Bedrock basierenden Modelle.
