SageMaker-AI-Umgebungsvariablen und Standardpfade für Trainingsspeicherorte - Amazon SageMaker AI

SageMaker-AI-Umgebungsvariablen und Standardpfade für Trainingsspeicherorte

In der folgenden Tabelle sind die Eingabe- und Ausgabepfade für Trainingsdatensätze, Checkpoints, Modellartefakte und Ausgaben zusammengefasst, die von der SageMaker-Trainingsplattform verwaltet werden.

Lokaler Pfad in der SageMaker-Trainings-Instance SageMaker-AI-Umgebungsvariable Zweck Beim Start aus S3 lesen Beim Spot-Neustart aus S3 lesen Schreibt während des Trainings in S3 Schreibt nach S3, wenn der Job beendet wird

/opt/ml/input/data/channel_name1

SM_CHANNEL_CHANNEL_NAME

Lesen von Trainingsdaten aus den Eingabekanälen, die über die Schätzerklasse des SageMaker AI Python SDK oder die CreateTrainingJob-API-Operation angegeben wurden Weitere Informationen dazu, wie Sie es mithilfe des SageMaker Python SDK in Ihrem Trainingsskript angeben können, finden Sie unter Ein Trainingsskript vorbereiten.

 Ja Ja Nein Nein

/opt/ml/output/data2

 SM_OUTPUT_DIR

Speichern von Ausgaben wie Verlust, Genauigkeit, Zwischenschichten, Gewichten, Gradienten, Bias und TensorBoard-kompatiblen Ausgaben. Sie können mit diesem Pfad auch jede beliebige Ausgabe speichern. Beachten Sie, dass dies ein anderer Pfad ist als der zum Speichern des endgültigen Modellartefakts /opt/ml/model/.

 Nein Nein Nein Ja

/opt/ml/model3

 SM_MODEL_DIR

Speichern des endgültigen Modellartefakts. Dies ist auch der Pfad, von dem aus das Modellartefakt für Echtzeit-Inferenzen in SageMaker AI Hosting bereitgestellt wird.

 Nein Nein Nein Ja

/opt/ml/checkpoints4

 -

Speichern von Modell-Checkpoints (dem Status des Modells), um das Training ab einem bestimmten Punkt fortzusetzen und die Wiederherstellung nach unerwarteten oder Managed Spot Trainingsunterbrechungen zu ermöglichen.

 Ja Ja Ja Nein

/opt/ml/code

 SAGEMAKER_SUBMIT_DIRECTORY

Kopieren von Trainingsskripten, zusätzlichen Bibliotheken und Abhängigkeiten.

 Ja Ja Nein Nein

/tmp

 -

Lesen oder Schreiben auf /tmp als Scratchspace.

 Nein Nein Nein Nein

1 channel_name ist der Ort, an dem benutzerdefinierte Kanalnamen für Trainingsdateneingaben angegeben werden können. Jeder Trainingsjob kann mehrere Dateneingabekanäle enthalten. Sie können bis zu 20 Trainingseingangskanäle pro Trainingsjob angeben. Beachten Sie, dass die Zeit, in der Daten von den Datenkanälen heruntergeladen werden, auf die abrechnungsfähige Zeit angerechnet wird. Weitere Informationen zu Dateneingabepfaden finden Sie unter So stellt Amazon SageMaker AI Trainingsinformationen bereit. Außerdem unterstützt SageMaker AI drei Arten von Dateneingabemodi: Datei-, FastFile- und Pipe-Modus. Weitere Informationen zu den Dateneingabemodi für das Training in SageMaker AI finden Sie unter Zugriff auf Trainingsdaten.

2 SageMaker AI komprimiert und schreibt Trainingsartefakte in TAR-Dateien (tar.gz). Die Zeit für Komprimierung und Upload wird auf die abrechnungsfähige Zeit angerechnet. Weitere Informationen finden Sie unter So verarbeitet Amazon SageMaker AI Trainingsausgaben.

3 SageMaker AI komprimiert und schreibt das endgültige Modellartefakt in eine TAR-Datei (tar.gz). Die Zeit für Komprimierung und Upload wird auf die abrechnungsfähige Zeit angerechnet. Weitere Informationen finden Sie unter So verarbeitet Amazon SageMaker AI Trainingsausgaben.

4 Synchronisieren Sie während des Trainings mit Amazon S3. Schreiben Sie wie es ist, ohne in TAR-Dateien zu komprimieren. Weitere Informationen finden Sie unter Verwendung von Checkpoints in Amazon SageMaker AI.