Greifen Sie auf die Profildaten zu - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Greifen Sie auf die Profildaten zu

Die TrainingJob SMDebug-Klasse liest Daten aus dem S3-Bucket, in dem die System- und Framework-Metriken gespeichert sind.

So richten Sie ein TrainingJob Objekt ein und rufen die Profilergebnisdateien eines Trainingsauftrags ab

from smdebug.profiler.analysis.notebook_utils.training_job import TrainingJob
tj = TrainingJob(training_job_name, region)
Tipp

Sie müssen die training_job_name and region Parameter angeben, um einen Trainingsauftrag protokollieren zu können. Es gibt zwei Möglichkeiten, die Informationen zum Trainingsuftrag anzugeben:

  • Verwenden Sie das SageMaker Python SDK, während der Schätzer noch mit dem Trainingsauftrag verbunden ist.

    import sagemaker
training_job_name=estimator.latest_training_job.job_name
region=sagemaker.Session().boto_region_name

  • Übergeben Sie Strings direkt.

    training_job_name="your-training-job-name-YYYY-MM-DD-HH-MM-SS-SSS"
region="us-west-2"
Anmerkung

Standardmäßig sammelt der SageMaker Debugger Systemmetriken, um die Auslastung der Hardwareressourcen und Systemengpässe zu überwachen. Wenn Sie die folgenden Funktionen ausführen, erhalten Sie möglicherweise Fehlermeldungen über die Nichtverfügbarkeit von Rahmenmetriken. Um Framework-Profiling-Daten abzurufen und Einblicke in die Framework-Operationen zu erhalten, müssen Sie das Framework-Profiling aktivieren.

So rufen Sie eine Beschreibung des Trainingsauftrags und den URI des S3-Buckets ab, in dem die metrischen Daten gespeichert sind

tj.describe_training_job()
tj.get_config_and_profiler_s3_output_path()

So prüfen Sie, ob die System- und Rahmenmetriken über den S3-URI verfügbar sind

tj.wait_for_sys_profiling_data_to_be_available()
tj.wait_for_framework_profiling_data_to_be_available()

Erstellung von System- und Rahmenleseobjekten, nachdem die metrischen Daten verfügbar sind

system_metrics_reader = tj.get_systems_metrics_reader()
framework_metrics_reader = tj.get_framework_metrics_reader()

So aktualisieren und rufen Sie die neuesten Trainingsereignisdateien ab

Die Reader-Objekte verfügen über eine erweiterte Methode, refresh_event_file_list(), um die neuesten Trainingsereignisdateien abzurufen.

system_metrics_reader.refresh_event_file_list()
framework_metrics_reader.refresh_event_file_list()