Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Python-SDK-Referenz für SageMaker Smart Sifting
Diese Seite enthält eine Referenz der Python-Module, die Sie benötigen, um SageMaker Smart Sifting auf Ihr Trainingsskript anzuwenden.
Konfigurationsmodule für SageMaker Smart Sifting
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
Die Konfigurationsklasse für SageMaker Smart Sifting
Parameter
-
beta_value(float) – ein Beta-Wert (konstanter Wert). Er wird verwendet, um die Wahrscheinlichkeit der Auswahl einer Stichprobe für das Training anhand des Perzentils des Verlusts im Verlustwerteverlauf zu berechnen. Eine Senkung des Betawerts führt zu einem geringeren Prozentsatz gesichteter Daten, während eine Erhöhung des Betawerts zu einem höheren Prozentsatz gesichteter Daten führt. Es gibt keinen Mindest- oder Höchstwert für den Betawert, außer dass es sich um einen positiven Wert handeln muss. Die folgende Referenztabelle enthält Informationen zu den Sichtungsraten in Bezug aufbeta_value.beta_valueAnteil der gespeicherten Daten (%) Anteil der gesichteten Daten (%) 0,1 90,91 9,01 0,25 80 20 0,5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) – die Anzahl der vorherigen Trainingsverluste, die für die auf dem relativen Schwellenwert basierende Stichprobe gespeichert werden soll -
loss_based_sift_config(dict oderLossConfig-Objekt) – Geben Sie einLossConfig-Objekt an, das die Loss-Schnittstellenkonfiguration von SageMaker Smart Sifting zurückgibt.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Die Konfigurationsklasse für den loss_based_sift_config-Parameter der Klasse RelativeProbabilisticSiftConfig.
Parameter
-
sift_config(dict oderSiftingBaseConfig-Objekt) – Geben Sie einSiftingBaseConfig-Objekt an, das ein Basiskonfigurationswörterbuch für die Sichtung zurückgibt.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
Die Konfigurationsklasse für den sift_config-Parameter von LossConfig.
Parameter
-
sift_delay(int) – Die Anzahl der Trainingsschritte, die vor der Sichtung abgewartet werden. Wir empfehlen, mit der Sichtung zu beginnen, nachdem alle Ebenen im Modell ausreichend Einblick in die Trainingsdaten haben. Der Standardwert ist1000. -
repeat_delay_per_epoch(bool) – Geben Sie an, ob die Sichtung für jede Epoche verzögert werden soll. Der Standardwert istFalse.
Batch-Datentransformationsmodule für SageMaker Smart Sifting
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Ein Python-Modul für SageMaker Smart Sifting zur Definition der Durchführung einer Batch-Transformation. Damit können Sie eine Batch-Transformationsklasse einrichten, die das Datenformat Ihrer Trainingsdaten in das SiftingBatch-Format konvertiert. Mit SageMaker Smart Sifting können Daten in diesem Format gesichtet und in einem Sichtungsstapel gesammelt werden.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Eine Schnittstelle zur Definition eines Batch-Datentyps, der gesichtet und gesammelt werden kann
class
smart_sifting.data_model.list_batch.ListBatch
Ein Modul zur Nachverfolgung eines zu sichtenden Listenstapels
class
smart_sifting.data_model.tensor_batch.TensorBatch
Ein Modul zur Nachverfolgung eines Tensorstapels für die Sichtung
Loss-Implementierungsmodul für SageMaker Smart Sifting
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Ein Wrapper-Modul zur Registrierung der Schnittstelle von SageMaker Smart Sifting für die Verlustfunktion eines PyTorch-basierten Modells
Wrapper-Modul für den Datenlader für SageMaker Smart Sifting
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Ein Wrapper-Modul zur Registrierung der Schnittstelle von SageMaker Smart Sifting für den Datenlader eines PyTorch-basierten Modells.
Der Iterator des Hauptsichtungs-Datenladers filtert Trainingsproben basierend auf einer Sichtungskonfiguration aus einem Datenloader heraus.
Parameter
-
sift_config(dict oder einRelativeProbabilisticSiftConfig-Objekt) – einRelativeProbabilisticSiftConfig-Object. -
orig_dataloader(ein PyTorch-DataLoader-Objekt) – Geben Sie das PyTorch-DataLoader-Objekt an, das umschlossen werden soll. -
batch_transforms(einSiftingBatchTransform-Objekt) – (Optional) Wenn Ihr Datenformat von der Standardtransformation der Bibliothek von SageMaker Smart Sifting nicht unterstützt wird, müssen Sie mithilfe desSiftingBatchTransform-Moduls eine Batch-Transformationsklasse erstellen. Dieser Parameter wird verwendet, um die Batch-Transformationsklasse zu übergeben. Diese Klasse wird fürSiftingDataloaderverwendet, um die Daten in ein Format zu konvertieren, das der Algorithmus von SageMaker Smart Sifting akzeptiert. -
model(ein PyTorch-Modellobjekt) – das ursprüngliche PyTorch-Modell -
loss_impl(eine Sifting-Verlustfunktion vonsmart_sifting.loss.abstract_sift_loss_module.Loss) – eine Sifting-Verlustfunktion, die mit demLoss-Modul konfiguriert ist und die PyTorch-Verlustfunktion umschließt. -
log_batch_data(bool) – Geben Sie an, ob Batch-Daten protokolliert werden sollen. Wenn diese Option aufTruegesetzt ist, protokolliert SageMaker Smart Sifting die Details der Batches, die aufbewahrt oder gesichtet werden. Wir empfehlen, diese Option nur für einen Pilot-Trainingsjob zu aktivieren. Wenn die Protokollierung aktiviert ist, werden die Samples auf die GPU geladen und auf die CPU übertragen, was zu Mehraufwand führt. Der Standardwert istFalse.
