Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Erste Schritte
## Reichen Sie einen Bewertungsauftrag über SageMaker Studio ein
### Schritt 1: Navigieren Sie auf Ihrer Modellkarte zur Bewertung
Nachdem Sie Ihr Modell angepasst haben, navigieren Sie auf Ihrer Modellkarte zur Bewertungsseite.
Informationen zum Training mit benutzerdefinierten Modellen mit offenem Gewicht finden Sie unter: [ https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html ](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)
SageMaker visualisiert Ihr benutzerdefiniertes Modell auf der Registerkarte Meine Modelle:
Wählen Sie „Aktuelle Version anzeigen“ und dann „Auswerten“:
### Schritt 2: Reichen Sie Ihren Bewertungsauftrag ein
Wählen Sie die Schaltfläche „Senden“ und senden Sie Ihren Bewertungsauftrag ab. Dadurch wird ein minimaler MMLU-Benchmark-Job eingereicht.
Informationen zu den unterstützten Evaluierungsauftragstypen finden Sie unter[Arten der Bewertung und Einreichung von Aufträgen](model-customize-evaluation-types.md).
### Schritt 3: Verfolgen Sie den Fortschritt Ihres Evaluierungsauftrags
Der Fortschritt Ihres Evaluierungsauftrags wird auf der Registerkarte „Bewertungsschritte“ verfolgt:
### Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Evaluierungsaufträge an
Die Ergebnisse Ihrer Evaluierungsaufträge werden auf der Registerkarte „Bewertungsergebnisse“ visualisiert:
### Schritt 5: Sehen Sie sich Ihre abgeschlossenen Bewertungen an
Ihr abgeschlossener Bewertungsauftrag wird in den Bewertungen Ihrer Modellkarte angezeigt:
## Reichen Sie Ihren Evaluierungsauftrag über das SageMaker Python SDK ein
### Schritt 1: Erstellen Sie Ihre BenchMarkEvaluator
Übergeben Sie Ihr registriertes trainiertes Modell, den AWS S3-Ausgabeort und den MLflow-Ressourcen-ARN an `BenchMarkEvaluator` und initialisieren Sie es dann.
```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark
evaluator = BenchMarkEvaluator(
benchmark=Benchmark.MMLU,
model="arn:aws:sagemaker:::model-package//",
s3_output_path="s3:////eval/",
mlflow_resource_arn="arn:aws:sagemaker:::mlflow-tracking-server/",
evaluate_base_model=False
)
```
### Schritt 2: Reichen Sie Ihren Bewertungsauftrag ein
Rufen Sie die `evaluate()` Methode auf, um den Bewertungsauftrag einzureichen.
```
execution = evaluator.evaluate()
```
### Schritt 3: Verfolgen Sie den Fortschritt Ihres Evaluierungsauftrags
Rufen Sie die `wait()` Methode der Ausführung auf, um eine Live-Aktualisierung des Fortschritts des Evaluierungsauftrags zu erhalten.
```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```
### Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Evaluierungsaufgabe an
Rufen Sie die `show_results()` Methode auf, um die Ergebnisse Ihrer Bewertungsaufträge anzuzeigen.
```
execution.show_results()
```