Optimieren kuratierter Hub-Modelle - Amazon SageMaker KI
VoraussetzungenOptimieren einer kuratierten Hub-Modellreferenz

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Optimieren kuratierter Hub-Modelle

In Ihrem privaten, kuratierten Modell-Hub können Sie anhand Ihrer Modellreferenzen Trainingsjobs zur Optimierung durchführen. Modellreferenzen verweisen auf ein öffentlich JumpStart verfügbares Modell im öffentlichen SageMaker KI-Hub, aber Sie können das Modell anhand Ihrer eigenen Daten für Ihren speziellen Anwendungsfall verfeinern. Nach der Optimierung haben Sie Zugriff auf die Modellgewichtungen, die Sie dann auf einem Endpunkt verwenden oder bereitstellen können.

Mit dem SageMaker Python-SDK können Sie kuratierte Hub-Modelle in nur wenigen Codezeilen feinabstimmen. Weitere allgemeine Informationen zur Feinabstimmung öffentlich verfügbarer JumpStart Modelle finden Sie unter. Basismodelle und Hyperparameter für die Optimierung

Voraussetzungen

Gehen Sie wie folgt vor, um eine JumpStart Modellreferenz in Ihrem kuratierten Hub zu verfeinern:

  1. Stellen Sie sicher, dass der IAM-Rolle Ihres Benutzers die SageMaker TrainHubModel KI-Berechtigung zugewiesen ist. Informationen finden Sie im Abschnitt Hinzufügen und Entfernen von IAM-Identitätsberechtigungen im AWS-IAM-Benutzerhandbuch.

    Sie sollten der IAM-Rolle Ihres Benutzers eine Richtlinie wie die im folgenden Beispiel gezeigte anfügen.

    JSON
    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "sagemaker:TrainHubModel",
            "Resource": "arn:aws:sagemaker:*:111122223333:hub/*"
        }
    ]
}
    Anmerkung

    Wenn Ihr kuratierter Hub von mehreren Konten gemeinsam genutzt wird und der Hub-Inhalt einem anderen Konto gehört, stellen Sie sicher, dass Ihr HubContent (die Modellreferenzressource) über eine ressourcenbasierte IAM-Richtlinie verfügt, die auch dem anfragenden Konto die TrainHubModel-Erlaubnis erteilt, wie im folgenden Beispiel gezeigt.

    JSON
    {
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowCrossAccountSageMakerAccess",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111122223333:root"
            },
            "Action": [
                "sagemaker:TrainHubModel"
            ],
            "Resource": [
                "arn:aws:sagemaker:*:111122223333:hub/*"
            ]
        }
    ]
}

  2. Richten Sie einen privaten, kuratierten Hub mit einer Modellreferenz auf ein JumpStart Modell ein, das Sie verfeinern möchten. Weitere Informationen zum Erstellen eines privaten Hubs finden Sie unter Erstellen eines privaten Modell-Hubs. Informationen zum Hinzufügen öffentlich verfügbarer JumpStart Modelle zu Ihrem privaten Hub finden Sie unter. Hinzufügen von Modellen zu einem privaten Hub

    Anmerkung

    Das von Ihnen gewählte JumpStart Modell sollte feinabstimmbar sein. In der Tabelle Integrierte Algorithmen mit vortrainierten Modellen können Sie überprüfen, ob ein Modell optimierbar ist.

  3. Sie benötigen einen Trainingsdatensatz, den Sie für die Optimierung des Modells verwenden möchten. Der Datensatz sollte im passenden Trainingsformat für das Modell vorliegen, das Sie optimieren möchten.

Optimieren einer kuratierten Hub-Modellreferenz

Das folgende Verfahren zeigt Ihnen, wie Sie eine Modellreferenz in Ihrem privaten kuratierten Hub mithilfe des SageMaker Python-SDK optimieren können.

  1. Stellen Sie sicher, dass Sie (mindestens2.242.0) die neueste Version des SageMaker Python-SDK installiert haben. Weitere Informationen finden Sie unter Verwenden von Version 2.x des SageMaker Python-SDK.

    !pip install --upgrade sagemaker

  2. Importieren Sie die AWS SDK für Python (Boto3) Module, die Sie benötigen, aus dem SageMaker Python-SDK.

    import boto3
from sagemaker.jumpstart.estimator import JumpStartEstimator
from sagemaker.session import Session

  3. Initialisieren Sie eine Boto3-Sitzung, einen SageMaker AI-Client und eine SageMaker Python-SDK-Sitzung.

    sagemaker_client = boto3.Session(region_name=<AWS-region>).client("sagemaker")
sm_session = Session(sagemaker_client=sagemaker_client)

  4. Erstellen Sie eine JumpStartEstimator und geben Sie die JumpStart Modell-ID, den Namen Ihres Hubs, der die Modellreferenz enthält, und Ihre SageMaker Python-SDK-Sitzung an. Eine Liste der Modelle IDs finden Sie in der Tabelle Integrierte Algorithmen mit vortrainierten Modellen.

    Optional können Sie bei der Erstellung des Schätzers die Felder instance_count und instance_type angeben. Wenn Sie dies nicht tun, verwendet der Trainingsjob den Standard-Instance-Typ und die Standardanzahl für das von Ihnen verwendete Modell.

    Sie können optional auch den output_path zum Amazon-S3-Speicherort angeben, an dem Sie die optimierten Modellgewichtungen speichern möchten. Wenn Sie das nicht angebenoutput_path, verwendet es einen standardmäßigen SageMaker AI-Amazon S3-Bucket für die Region in Ihrem Konto, der im folgenden Format benannt ist:sagemaker-<region>-<account-id>.

    
estimator = JumpStartEstimator(
    model_id="meta-textgeneration-llama-3-2-1b",
    hub_name=<your-hub-name>,
    sagemaker_session=sm_session, # If you don't specify an existing session, a default one is created for you
    # Optional: specify your desired instance type and count for the training job
    # instance_type = "ml.g5.2xlarge"
    # instance_count = 1
    # Optional: specify a custom S3 location to store the fine-tuned model artifacts
    # output_path: "s3://<output-path-for-model-artifacts>"
)

  5. Erstellen Sie ein Wörterbuch mit dem training-Schlüssel, in dem Sie den Speicherort Ihres Optimierungsdatensatzes angeben. Dieses Beispiel verweist auf einen Amazon-S3-URI. Wenn Sie zusätzliche Überlegungen haben, z. B. die Verwendung des lokalen Modus oder mehrerer Trainingsdatenkanäle, finden Sie weitere Informationen unter JumpStartEstimator.fit () in der SageMaker Python SDK-Dokumentation.

    training_input = {
    "training": "s3://<your-fine-tuning-dataset>"
}

  6. Rufen Sie die fit()-Methode des Schätzers auf und übergeben Sie Ihre Trainingsdaten und Ihre EULA-Zustimmung (falls zutreffend).

    Anmerkung

    Im folgenden Beispiel ist accept_eula=False. Sie sollten den Wert manuell auf True ändern, um die EULA zu akzeptieren.

    estimator.fit(inputs=training_input, accept_eula=False)

Ihr Optimierungsjob sollte jetzt beginnen.

Du kannst deinen Job zur Feinabstimmung überprüfen, indem du dir deine Trainingsjobs entweder in der SageMaker KI-Konsole oder mithilfe der ListTrainingJobsAPI ansiehst.

Sie können auf Ihre fein abgestimmten Modellartefakte im Amazon S3 zugreifenoutput_path, das im JumpStartEstimator Objekt angegeben wurde (entweder der standardmäßige SageMaker AI Amazon S3 S3-Bucket für die Region oder ein benutzerdefinierter Amazon S3 S3-Pfad, den Sie angegeben haben, falls zutreffend).