Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
SageMaker référence du SDK Python pour tamisage intelligent
Cette page fournit une référence des modules Python dont vous avez besoin pour appliquer le SageMaker filtrage intelligent à votre script d'entraînement.
SageMaker modules de configuration de tamisage intelligents
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe de configuration de tamisage SageMaker intelligent.
Paramètres
-
beta_value(float) : une valeur bêta (constante). Il est utilisé pour calculer la probabilité de sélectionner un exemple pour l’entraînement en fonction du percentile de la perte dans l’historique des valeurs de perte. La réduction de la valeur bêta réduit le pourcentage de données analysées, tandis que l’augmentation de cette valeur entraîne un pourcentage plus élevé de données analysées. Il n’y a pas de valeur minimale ou maximale pour la valeur bêta, si ce n’est qu’elle doit être une valeur positive. Le tableau de référence suivant donne des informations sur les taux d’analyse par rapport àbeta_value.beta_valueProportion de données conservées (%) Proportion de données éliminées (%) 0.1 90,91 9,01 0.25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) : le nombre de pertes d’entraînement antérieures à enregistrer pour l’échantillonnage basé sur le seuil relatif de perte. -
loss_based_sift_config(dict ouLossConfigobjet) — Spécifiez unLossConfigobjet qui renvoie la configuration de l'interface SageMaker Smart Sifting Loss.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Classe de configuration pour le paramètre loss_based_sift_config de la classe RelativeProbabilisticSiftConfig.
Paramètres
-
sift_config(dict ou objetSiftingBaseConfig) : spécifiez un objetSiftingBaseConfigqui renvoie un dictionnaire de configuration de base d’analyse.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe de configuration pour le paramètre sift_config de LossConfig.
Paramètres
-
sift_delay(int) : nombre d’étapes d’entraînement à attendre avant de commencer l’analyse. Nous vous recommandons de commencer à analyser une fois que toutes les couches du modèle ont une vue suffisante des données d’entraînement. La valeur par défaut est1000. -
repeat_delay_per_epoch(bool) : spécifiez s’il faut retarder l’analyse de chaque époque. La valeur par défaut estFalse.
SageMaker modules de transformation par lots de données de tamisage intelligent
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un module Python de criblage SageMaker intelligent pour définir comment effectuer une transformation par lots. Grâce à cela, vous pouvez configurer une classe de transformation par lots qui convertit le format de données de vos données d'entraînement en SiftingBatch format. SageMaker le tamisage intelligent permet de tamiser et d'accumuler des données dans ce format en un lot tamisé.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Interface permettant de définir un type de données par lots pouvant être analysées et accumulées.
class
smart_sifting.data_model.list_batch.ListBatch
Un module permettant de suivre un lot de listes pour analyse.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un module permettant de suivre un lot de tenseurs pour analyse.
SageMaker module de mise en œuvre intelligent des pertes par tamisage
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Module d'encapsulage permettant d'enregistrer l'interface de tamisage SageMaker intelligente dans la fonction de perte d'un PyTorch-based modèle.
SageMaker module d'emballage de chargeur de données à tamisage intelligent
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un module d'encapsulage pour enregistrer l'interface de tamisage SageMaker intelligente dans le chargeur de données d'un PyTorch-based modèle.
L’itérateur Main Sifting Dataloader élimine les exemples d’entraînement d’un chargeur de données sur la base d’une configuration d’analyse.
Paramètres
-
sift_config(dict ou objetRelativeProbabilisticSiftConfig) : un objetRelativeProbabilisticSiftConfig. -
orig_dataloader(un PyTorch DataLoader objet) — Spécifiez l'objet PyTorch Dataloader à encapsuler. -
batch_transforms(unSiftingBatchTransformobjet) — (Facultatif) Si le format de vos données n'est pas pris en charge par la transformation par défaut de la bibliothèque de tamisage SageMaker intelligent, vous devez créer une classe de transformation par lots à l'aide duSiftingBatchTransformmodule. Ce paramètre est utilisé pour transmettre la classe de transformation par lots. Cette classe est utilisée pourSiftingDataloaderconvertir les données dans un format accepté par l'algorithme de tamisage SageMaker intelligent. -
model(un objet PyTorch modèle) — Le PyTorch modèle d'origine -
loss_impl(une fonction de perte par tamisage desmart_sifting.loss.abstract_sift_loss_module.Loss) — Une fonction de perte par tamisage configurée avec leLossmodule et encapsulant la PyTorch fonction de perte. -
log_batch_data(bool) : spécifiez s’il faut consigner les données par lots. Si ce paramètre est défini surTrue, le tamisage SageMaker intelligent enregistre les détails des lots conservés ou filtrés. Nous vous recommandons de l’activer uniquement pour une tâche d’entraînement pilote. Lorsque la journalisation est activée, les exemples sont chargés sur le GPU et transférés vers le CPU, ce qui entraîne une surcharge. La valeur par défaut estFalse.
