Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker riferimento all'SDK Python di smart sifting
Questa pagina fornisce un riferimento ai moduli Python necessari per applicare SageMaker smart sifting allo script di formazione.
SageMaker moduli di configurazione smart sifting
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe di configurazione SageMaker smart sifting.
Parametri
-
beta_value(decimale) - Un valore beta (costante). Viene utilizzato per calcolare la probabilità di selezionare un campione per l’addestramento in base al percentile della perdita nella cronologia dei valori di perdita. Riducendo il valore beta, si ottiene una percentuale inferiore di dati filtrati, mentre aumentandolo si ottiene una percentuale superiore di dati filtrati. Non esiste un valore minimo o massimo per il valore beta, a parte il fatto che deve essere un valore positivo. La seguente tabella di riferimento fornisce informazioni sui tassi di sifting rispetto abeta_value.beta_valuePercentuale di dati conservati (%) Percentuale di dati esclusi (%) 0.1 90.91 9,01 0.25 80 20 0,5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0,99 99,01 -
loss_history_length(intero) - Il numero di perdite di addestramento precedenti da archiviare per il campionamento basato sulla perdita di soglia relativa. -
loss_based_sift_config(dict o unLossConfigoggetto): specifica unLossConfigoggetto che restituisca la configurazione dell'interfaccia Loss di SageMaker smart sifting.
class
smart_sifting.sift_config.sift_configs.LossConfig()
La classe di configurazione per il parametro loss_based_sift_config della classe RelativeProbabilisticSiftConfig.
Parametri
-
sift_config(dizionario o un oggettoSiftingBaseConfig) - Specifica un oggettoSiftingBaseConfigche restituisce un dizionario di configurazione di base per il sifting.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe di configurazione per il parametro sift_config di LossConfig.
Parametri
-
sift_delay(intero) - Il numero di fasi di addestramento da attendere prima di avviare il sifting. È consigliabile avviare il processo dopo che tutti i livelli del modello hanno una visione sufficiente dei dati di addestramento. Il valore predefinito è1000. -
repeat_delay_per_epoch(booleano) - Specifica se ritardare il sifting a ogni epoch. Il valore predefinito èFalse.
SageMaker moduli di trasformazione batch di dati smart sifting
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un modulo Python SageMaker intelligente per definire come eseguire la trasformazione in batch. Usando questo, puoi impostare una classe di trasformazione batch che converta il formato dei dati dei tuoi dati di allenamento in formato. SiftingBatch SageMaker smart sifting può setacciare e accumulare dati in questo formato in un batch setacciato.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Un’interfaccia per definire un tipo di dati in batch che può essere filtrato e accumulato.
class
smart_sifting.data_model.list_batch.ListBatch
Un modulo per tenere traccia di un batch di elenchi da filtrare.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un modulo per tenere traccia di un batch di tensori da filtrare.
SageMaker modulo di implementazione smart siffting loss
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un modulo wrapper per registrare l'interfaccia SageMaker smart sifting alla funzione di perdita di un modello. PyTorch-based
SageMaker modulo wrapper smart sifting data loader
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un modulo wrapper per registrare l'interfaccia SageMaker smart sifting nel caricatore di dati di un modello. PyTorch-based
L’iteratore Main Sifting Dataloader separa i campioni di addestramento da uno strumento di caricamento dei dati in base a una configurazione di sifting.
Parametri
-
sift_config(dizionario o un oggettoRelativeProbabilisticSiftConfig) - Un oggettoRelativeProbabilisticSiftConfig. -
orig_dataloader(un PyTorch DataLoader oggetto) — Specifica l'oggetto PyTorch Dataloader da racchiudere. -
batch_transforms(unSiftingBatchTransformoggetto) — (Facoltativo) Se il formato dei dati non è supportato dalla trasformazione predefinita della libreria SageMaker smart sifting, è necessario creare una classe di trasformazione batch utilizzando il modulo.SiftingBatchTransformQuesto parametro viene utilizzato per passare la classe di trasformazione in batch. Questa classe viene utilizzata perSiftingDataloaderconvertire i dati in un formato accettabile dall'algoritmo SageMaker smart sifting. -
model(un oggetto PyTorch modello) — Il modello originale PyTorch -
loss_impl(una funzione di perdita di setacciamento dismart_sifting.loss.abstract_sift_loss_module.Loss) — Una funzione di perdita di setacciamento che è configurata con ilLossmodulo e racchiude la funzione di perdita. PyTorch -
log_batch_data(booleano) - Specifica se registrare log dei dati del batch. Se impostato suTrue, SageMaker smart sifting registra i dettagli dei lotti conservati o setacciati. È consigliabile modificare l’impostazione solo per un job di addestramento pilota. Quando la registrazione di log è attivata, i campioni vengono caricati e trasferiti sulla GPU, introducendo un overhead. Il valore predefinito èFalse.
