Riferimento di SageMaker Smart Sifting Python SDK - Amazon SageMaker AI
Moduli di configurazione di SageMaker Smart SiftingModuli di trasformazione in batch per SageMaker Smart SiftingModulo di implementazione delle perdite per SageMaker Smart SiftingModulo wrapper dello strumento di caricamento dei dati della funzionalità di smart sifting di SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Riferimento di SageMaker Smart Sifting Python SDK

Questa pagina fornisce un riferimento ai moduli Python necessari per applicare SageMaker Smart Sifting allo script di addestramento.

Moduli di configurazione di SageMaker Smart Sifting

class smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()

La classe di configurazione di SageMaker Smart Sifting.

Parametri

  • beta_value (decimale) - Un valore beta (costante). Viene utilizzato per calcolare la probabilità di selezionare un campione per l’addestramento in base al percentile della perdita nella cronologia dei valori di perdita. Riducendo il valore beta, si ottiene una percentuale inferiore di dati filtrati, mentre aumentandolo si ottiene una percentuale superiore di dati filtrati. Non esiste un valore minimo o massimo per il valore beta, a parte il fatto che deve essere un valore positivo. La seguente tabella di riferimento fornisce informazioni sui tassi di sifting rispetto a beta_value.

    beta_value Percentuale di dati conservati (%) Percentuale di dati esclusi (%)
    0.1 90,91 9,01
    0.25 80 20
    0,5 66,67 33,33
    1 50 50
    2 33,33 66,67
    3 25 75
    10 9,09 90,92
    100 0,99 99,01

  • loss_history_length (intero) - Il numero di perdite di addestramento precedenti da archiviare per il campionamento basato sulla perdita di soglia relativa.

  • loss_based_sift_config (dizionario o un oggetto LossConfig) - Specifica un oggetto LossConfig che restituisce la configurazione dell’interfaccia Loss di SageMaker Smart Sifting.

class smart_sifting.sift_config.sift_configs.LossConfig()

La classe di configurazione per il parametro loss_based_sift_config della classe RelativeProbabilisticSiftConfig.

Parametri

  • sift_config (dizionario o un oggetto SiftingBaseConfig) - Specifica un oggetto SiftingBaseConfig che restituisce un dizionario di configurazione di base per il sifting.

class smart_sifting.sift_config.sift_configs.SiftingBaseConfig()

La classe di configurazione per il parametro sift_config di LossConfig.

Parametri

  • sift_delay (intero) - Il numero di fasi di addestramento da attendere prima di avviare il sifting. È consigliabile avviare il processo dopo che tutti i livelli del modello hanno una visione sufficiente dei dati di addestramento. Il valore predefinito è 1000.

  • repeat_delay_per_epoch (booleano) - Specifica se ritardare il sifting a ogni epoch. Il valore predefinito è False.

Moduli di trasformazione in batch per SageMaker Smart Sifting

class smart_sifting.data_model.data_model_interface.SiftingBatchTransform

Un modulo Python per SageMaker Smart Sifting per definire come eseguire la trasformazione in batch. Con questo modulo è possibile impostare una classe di trasformazione in batch che converte il formato dei dati di addestramento in formato SiftingBatch. SageMaker Smart Sifting può filtrare e accumulare dati in questo formato in un batch filtrato.

class smart_sifting.data_model.data_model_interface.SiftingBatch

Un’interfaccia per definire un tipo di dati in batch che può essere filtrato e accumulato.

class smart_sifting.data_model.list_batch.ListBatch

Un modulo per tenere traccia di un batch di elenchi da filtrare.

class smart_sifting.data_model.tensor_batch.TensorBatch

Un modulo per tenere traccia di un batch di tensori da filtrare.

Modulo di implementazione delle perdite per SageMaker Smart Sifting

class smart_sifting.loss.abstract_sift_loss_module.Loss

Un modulo wrapper per registrare l’interfaccia di SageMaker Smart Sifting nella funzione di perdita di un modello basato su PyTorch.

Modulo wrapper dello strumento di caricamento dei dati della funzionalità di smart sifting di SageMaker

class smart_sifting.dataloader.sift_dataloader.SiftingDataloader

Un modulo wrapper per registrare l’interfaccia della funzionalità di smart sifting di SageMaker nello strumento di caricamento dei dati di un modello basato su PyTorch.

L’iteratore Main Sifting Dataloader separa i campioni di addestramento da uno strumento di caricamento dei dati in base a una configurazione di sifting.

Parametri

  • sift_config (dizionario o un oggetto RelativeProbabilisticSiftConfig) - Un oggetto RelativeProbabilisticSiftConfig.

  • orig_dataloader (un oggetto PyTorch DataLoader) - Specifica l’oggetto PyTorch Dataloader per il wrapping.

  • batch_transforms (un oggetto SiftingBatchTransform) - (Facoltativo) Se il formato dei dati non è supportato dalla trasformazione predefinita della libreria SageMaker Smart Sifting, è necessario creare una classe di trasformazione in batch utilizzando il modulo SiftingBatchTransform. Questo parametro viene utilizzato per passare la classe di trasformazione in batch. Questa classe viene utilizzata per SiftingDataloader per convertire i dati in un formato accettabile dall’algoritmo di SageMaker Smart Sifting.

  • model (un oggetto del modello PyTorch) - Il modello PyTorch originale.

  • loss_impl (una funzione di perdita di sifting di smart_sifting.loss.abstract_sift_loss_module.Loss) - Una funzione di perdita di sifting configurata con il modulo Loss e che esegue il wrapping della funzione di perdita di PyTorch.

  • log_batch_data (booleano) - Specifica se registrare log dei dati del batch. Se è impostato su True, SageMaker Smart Sifting registra log dei dettagli dei batch conservati o filtrati. È consigliabile modificare l’impostazione solo per un job di addestramento pilota. Quando la registrazione di log è attivata, i campioni vengono caricati e trasferiti sulla GPU, introducendo un overhead. Il valore predefinito è False.