Ausgabetensoren des Amazon SageMaker Debugger in TensorBoard visualisieren

Um TensorBoard-kompatible Ausgabetensordateien mit dem Debugger zu speichern

1. Richten Sie ein tensorboard_output_config Konfigurationsobjekt ein, um die TensorBoard-Ausgabe mithilfe der Debugger-TensorBoardOutputConfig-Klasse zu speichern. Geben Sie für den s3_output_path Parameter den Standard-S3-Bucket der aktuellen SageMaker-AI-Sitzung oder einen bevorzugten S3-Bucket an. In diesem Beispiel wird der container_local_output_path Parameter nicht hinzugefügt, sondern auf den lokalen Standardpfad /opt/ml/output/tensors gesetzt.

   import sagemaker
   from sagemaker.debugger import TensorBoardOutputConfig
   
   bucket = sagemaker.Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Weitere Informationen finden Sie unter der Debugger-TensorBoardOutputConfig-API im Amazon SageMaker Python SDK.

2. Konfigurieren Sie den Debugger-Hook und passen Sie die Hook-Parameterwerte an. Der folgende Code konfiguriert beispielsweise einen Debugger-Hook so, dass alle skalaren Ausgaben in Trainingsphasen alle 100 Schritte und in Validierungsphasen alle 10 Schritte, die weights Parameter alle 500 Schritte (der save_interval Standardwert für das Speichern von Tensorsammlungen ist 500) und die bias Parameter alle 10 globalen Schritte gespeichert werden, bis der globale Schritt 500 erreicht.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Weitere Informationen zu den Debugger-Konfigurations-APIs finden Sie unter Debugger CollectionConfig und DebuggerHookConfig APIs im Amazon SageMaker Python SDK.

3. Konstruieren Sie einen SageMaker-AI-Schätzer mit den Debugger-Parametern, die die Konfigurationsobjekte übergeben. In der folgenden Beispielvorlage wird gezeigt, wie ein generischer SageMaker-AI-Schätzer erstellt wird. Sie können estimator und Estimator durch die übergeordneten Schätzerklassen und Schätzerklassen anderer SageMaker-AI-Frameworks ersetzen. Verfügbare Framework-Schätzer von SageMaker AI für diese Funktionalität sind TensorFlow, PyTorch und MXNet.

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   estimator.fit()

   Die estimator.fit() Methode startet einen Trainingsauftrag und der Debugger schreibt die Ausgabetensordateien in Echtzeit in den Debugger S3-Ausgabepfad und in den TensorBoard S3-Ausgabepfad. Verwenden Sie die folgenden Schätzmethoden, um die Ausgabepfade abzurufen:

   • Für den Debugger S3-Ausgabepfad, verwenden Sie estimator.latest_job_debugger_artifacts_path().

   • Für den TensorBoard S3-Ausgabepfad, verwenden Sie estimator.latest_job_tensorboard_artifacts_path().

4. Überprüfen Sie nach Abschluss des Trainings die Namen der gespeicherten Ausgabetensoren:

   from smdebug.trials import create_trial
   trial = create_trial(estimator.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Überprüfen Sie die TensorBoard-Ausgabedaten in Amazon S3:

   tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Laden Sie die TensorBoard-Ausgabedaten auf Ihre Notebook-Instance herunter. Mit dem folgenden AWS CLI Befehl werden beispielsweise die TensorBoard-Dateien in /logs/fit, unter dem aktuellen Arbeitsverzeichnis Ihrer Notebook-Instance, heruntergeladen.

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Komprimieren Sie das Dateiverzeichnis in eine TAR-Datei, um es auf Ihren lokalen Computer herunterzuladen.

   !tar -cf logs.tar logs

8. Laden Sie die Tensorboard-TAR-Datei herunter und extrahieren Sie sie in ein Verzeichnis auf Ihrem Gerät, starten Sie einen Jupyter-Notebook-Server, öffnen Sie ein neues Notebook und führen Sie die TensorBoard-App aus.

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit