Visualizzare i tensori di output di Amazon SageMaker Debugger in TensorBoard

Per salvare i file tensor di output compatibili con TensorBoard utilizzando Debugger

1. Imposta un oggetto di configurazione tensorboard_output_config per salvare l'output di TensorBoard utilizzando la classe di Debugger TensorBoardOutputConfig. Per il parametro s3_output_path specifica il bucket S3 predefinito della sessione corrente di SageMaker AI o un bucket S3 preferito. Questo esempio non aggiunge il parametro container_local_output_path; viene invece impostato sul percorso locale predefinito /opt/ml/output/tensors.

   import sagemaker
   from sagemaker.debugger import TensorBoardOutputConfig
   
   bucket = sagemaker.Session().default_bucket()
   tensorboard_output_config = TensorBoardOutputConfig(
       s3_output_path='s3://{}'.format(bucket)
   )

   Per ulteriori informazioni, consulta l'API Debugger TensorBoardOutputConfig in Amazon SageMaker Python SDK.

2. Configura l'hook Debugger e personalizza i valori dei parametri dell'hook. Ad esempio, il codice seguente configura un hook Debugger per salvare tutti gli output scalari ogni 100 fasi nelle fasi di addestramento e 10 fasi nelle fasi di convalida, i parametri weights ogni 500 fasi (il valore save_interval predefinito per il salvataggio delle raccolte di tensori è 500) e i parametri bias ogni 10 fasi globali fino a quando la fase globale raggiunge 500.

   from sagemaker.debugger import CollectionConfig, DebuggerHookConfig
   
   hook_config = DebuggerHookConfig(
       hook_parameters={
           "train.save_interval": "100",
           "eval.save_interval": "10"
       },
       collection_configs=[
           CollectionConfig("weights"),
           CollectionConfig(
               name="biases",
               parameters={
                   "save_interval": "10",
                   "end_step": "500",
                   "save_histogram": "True"
               }
           ),
       ]
   )

   Per ulteriori informazioni sulle API di configurazione di Debugger, consulta le API Debugger CollectionConfig e DebuggerHookConfig in Amazon SageMaker Python SDK.

3. Crea uno strumento di stima di SageMaker AI con i parametri di Debugger che passano gli oggetti di configurazione. Il seguente modello di esempio mostra come creare uno strumento di stima generico di SageMaker AI. È possibile sostituire estimator e Estimator con le classi principali e le classi degli strumenti di stima di altri framework di SageMaker AI. Gli strumenti di stima del framework di SageMaker AI disponibili per questa funzionalità sono TensorFlow, PyTorch e MXNet.

   from sagemaker.estimator import Estimator
   
   estimator = Estimator(
       ...
       # Debugger parameters
       debugger_hook_config=hook_config,
       tensorboard_output_config=tensorboard_output_config
   )
   estimator.fit()

   Il metodo estimator.fit() avvia un processo di addestramento e Debugger scrive i file del tensore di output in tempo reale sul percorso di output di Debugger S3 e sul percorso di output di TensorBoard S3. Per recuperare i percorsi di output, utilizza i seguenti metodi di valutazione:

   • Per il percorso di output di Debugger S3, usa estimator.latest_job_debugger_artifacts_path().

   • Per il percorso di output di TensorBoard S3, usa estimator.latest_job_tensorboard_artifacts_path().

4. Al termine dell'addestramento, controlla i nomi dei tensori di output salvati:

   from smdebug.trials import create_trial
   trial = create_trial(estimator.latest_job_debugger_artifacts_path())
   trial.tensor_names()

5. Controlla i dati di output di TensorBoard in Amazon S3:

   tensorboard_output_path=estimator.latest_job_tensorboard_artifacts_path()
   print(tensorboard_output_path)
   !aws s3 ls {tensorboard_output_path}/

6. Scarica i dati di output di TensorBoard sull'istanza del tuo notebook. Ad esempio, il comando AWS CLI seguente scarica i file TensorBoard in /logs/fit nella directory di lavoro corrente dell'istanza del notebook.

   !aws s3 cp --recursive {tensorboard_output_path} ./logs/fit

7. Comprimi la directory dei file in un file TAR da scaricare sul computer locale.

   !tar -cf logs.tar logs

8. Scarica ed estrai il file TAR di Tensorboard in una directory sul tuo dispositivo, avvia un server notebook Jupyter, apri un nuovo notebook ed esegui l'app TensorBoard.

   !tar -xf logs.tar
   %load_ext tensorboard
   %tensorboard --logdir logs/fit