Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Wie Amazon SageMaker AI Trainingsinformationen bereitstellt

In diesem Abschnitt wird erläutert, wie SageMaker AI Trainingsinformationen wie Trainingsdaten, Hyperparameter und andere Konfigurationsinformationen für Ihren Docker-Container bereitstellt.

Wenn Sie eine CreateTrainingJob-Anfrage an SageMaker AI senden, um die Modelltraining zu starten, geben Sie den Amazon Elastic Container Registry (Amazon ECR)-Pfad des Docker-Images an, das den Trainingsalgorithmus enthält. Sie geben auch den Speicherort des Amazon Simple Storage Service (Amazon S3) an, in dem die Trainingsdaten gespeichert werden, sowie algorithmusspezifische Parameter. SageMaker AI stellt diese Informationen dem Docker-Container zur Verfügung, damit Ihr Trainingsalgorithmus diesen nutzen kann. In diesem Abschnitt wird erklärt, wie wir diese Informationen Ihrem Docker-Container verfügbar machen können. Informationen zum Erstellen eines Trainingsauftrags finden Sie unter CreateTrainingJob. Weitere Informationen darüber, wie SageMaker-AI-Container Informationen organisieren, finden Sie unter SageMaker-Training- und -Inferenz-Toolkits.

Hyperparameter

SageMaker AI stellt die Hyperparameter in einer CreateTrainingJob-Anfrage im Docker-Container in der /opt/ml/input/config/hyperparameters.json-Datei zur Verfügung.

Im Folgenden finden Sie ein Beispiel für eine Hyperparameter-Konfiguration in hyperparameters.json zur Angabe der num_round und eta Hyperparameter bei der CreateTrainingJob Operation für XGBoost.

{
    "num_round": "128",
    "eta": "0.001"
}            

Eine vollständige Liste der Hyperparameter, die für den in SageMaker AI integrierten XGBoost-Algorithmus verwendet werden können, finden Sie unter XGBoost-Hyperparameter.

Die Hyperparameter, die Sie einstellen können, hängen vom Algorithmus ab, den Sie trainieren. Eine Liste der Hyperparameter, die für einen integrierten SageMaker-AI-Algorithmus verfügbar sind, finden Sie unter Hyperparameter unter dem Algorithmus-Link unter Verwenden von in Amazon SageMaker AI integrierten Algorithmen oder vortrainierten Modellen.

Umgebungsvariablen

SageMaker AI legt die folgenden Umgebungsvariablen in Ihrem Container fest:

Eingabedatenkonfiguration

SageMaker AI stellt die Datenkanalinformationen im InputDataConfig-Parameter aus Ihrer CreateTrainingJob-Anforderung in der /opt/ml/input/config/inputdataconfig.json-Datei in Ihrem Docker-Container zur Verfügung.

Angenommen, Sie geben drei Datenkanäle (train, evaluation und validation) in Ihrer Anforderung an. SageMaker AI stellt das folgende JSON zur Verfügung:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Trainingsdaten

Der TrainingInputMode Parameter in AlgorithmSpecification der CreateTrainingJobAnfrage gibt an, wie der Trainingsdatensatz Ihrem Container zur Verfügung gestellt wird. Die folgenden Eingabemodi sind verfügbar.

Das Modelltraining von SageMaker AI unterstützt leistungsstarke Verzeichnis-Buckets von S3 Express One Zone als Dateneingabeort für den Dateimodus, den Schnelldateimodus und den Pipe-Modus. Um S3 Express One Zone zu verwenden, geben Sie den Speicherort des Verzeichnis-Buckets von S3 Express One Zone anstelle eines Allzweck-Buckets von Amazon S3 ein. Stellen Sie den ARN für die IAM-Rolle mit den erforderlichen Zugriffskontroll- und Berechtigungsrichtlinien bereit. Einzelheiten finden Sie unter AmazonSageMakerFullAccessPolicy. Sie können Ihre SageMaker-AI-Ausgabedaten in Verzeichnis-Buckets nur mit serverseitiger Verschlüsselung mit von Amazon S3 verwalteten Schlüsseln (SSE-S3) verschlüsseln. Die serverseitige Verschlüsselung mit AWS KMS-Schlüsseln (SSE-KMS) wird derzeit für das Speichern von SageMaker-AI-Ausgabedaten in Verzeichnis-Buckets nicht unterstützt. Weitere Informationen finden Sie unter S3 Express One Zone.

Konfiguration für verteiltes Training

Wenn Sie ein verteiltes Training mit mehreren Containern durchführen, stellt SageMaker AI Informationen über alle Container in der /opt/ml/input/config/resourceconfig.json-Datei zur Verfügung.

Um die Kommunikation zwischen den Containern zu ermöglichen, enthält diese JSON-Datei Informationen für alle Container. SageMaker AI stellt diese Datei sowohl für File als auch für Pipe-Algorithmen zur Verfügung. Die Datei enthält die folgenden Informationen:

Nachfolgend sehen Sie eine Beispieldatei auf Knoten 1 in einem Cluster mit drei Knoten:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}