Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Référence du kit SDK d’analyse intelligente SageMaker Python
Cette page fournit une référence des modules Python dont vous avez besoin pour appliquer l’analyse intelligente SageMaker sur votre script d’entraînement.
Modules de configuration d’analyse intelligente SageMaker
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe de configuration d’analyse intelligente SageMaker.
Paramètres
-
beta_value(float) : une valeur bêta (constante). Il est utilisé pour calculer la probabilité de sélectionner un exemple pour l’entraînement en fonction du percentile de la perte dans l’historique des valeurs de perte. La réduction de la valeur bêta réduit le pourcentage de données analysées, tandis que l’augmentation de cette valeur entraîne un pourcentage plus élevé de données analysées. Il n’y a pas de valeur minimale ou maximale pour la valeur bêta, si ce n’est qu’elle doit être une valeur positive. Le tableau de référence suivant donne des informations sur les taux d’analyse par rapport àbeta_value.beta_valueProportion de données conservées (%) Proportion de données éliminées (%) 0.1 90,91 9,01 0.25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) : le nombre de pertes d’entraînement antérieures à enregistrer pour l’échantillonnage basé sur le seuil relatif de perte. -
loss_based_sift_config(dict ou objetLossConfig) : spécifiez un objetLossConfigqui renvoie la configuration de l’interface de perte de l’analyse intelligente SageMaker.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Classe de configuration pour le paramètre loss_based_sift_config de la classe RelativeProbabilisticSiftConfig.
Paramètres
-
sift_config(dict ou objetSiftingBaseConfig) : spécifiez un objetSiftingBaseConfigqui renvoie un dictionnaire de configuration de base d’analyse.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe de configuration pour le paramètre sift_config de LossConfig.
Paramètres
-
sift_delay(int) : nombre d’étapes d’entraînement à attendre avant de commencer l’analyse. Nous vous recommandons de commencer à analyser une fois que toutes les couches du modèle ont une vue suffisante des données d’entraînement. La valeur par défaut est1000. -
repeat_delay_per_epoch(bool) : spécifiez s’il faut retarder l’analyse de chaque époque. La valeur par défaut estFalse.
Modules de transformation par lots de données de l’analyse intelligente SageMaker
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un module Python de l’analyse intelligente SageMaker pour définir comment effectuer une transformation par lots. Vous pouvez ainsi configurer une classe de transformation par lots qui convertit le format de données de vos données d’entraînement en format SiftingBatch. L’analyse intelligente SageMaker permet d’analyser et d’accumuler des données dans ce format en un lot analysé.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Interface permettant de définir un type de données par lots pouvant être analysées et accumulées.
class
smart_sifting.data_model.list_batch.ListBatch
Un module permettant de suivre un lot de listes pour analyse.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un module permettant de suivre un lot de tenseurs pour analyse.
Module d’implémentation des pertes de l’analyse intelligente SageMaker
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un module wrapper pour enregistrer l’interface d’analyse intelligente SageMaker à la fonction de perte d’un modèle basé sur PyTorch.
Module wrapper du chargeur de données de l’analyse intelligente SageMaker
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un module wrapper pour enregistrer l’interface d’analyse intelligente SageMaker au chargeur de données d’un modèle basé sur PyTorch.
L’itérateur Main Sifting Dataloader élimine les exemples d’entraînement d’un chargeur de données sur la base d’une configuration d’analyse.
Paramètres
-
sift_config(dict ou objetRelativeProbabilisticSiftConfig) : un objetRelativeProbabilisticSiftConfig. -
orig_dataloader(un objet DataLoader de PyTorch) : spécifiez l’objet Dataloader de PyTorch à envelopper. -
batch_transforms(un objetSiftingBatchTransform) : (facultatif) si votre format de données n’est pas pris en charge par la transformation par défaut de la bibliothèque d’analyse intelligente SageMaker, vous devez créer une classe de transformation par lots à l’aide du moduleSiftingBatchTransform. Ce paramètre est utilisé pour transmettre la classe de transformation par lots. Cette classe est utilisée pour queSiftingDataloaderconvertisse les données dans un format acceptable par l’algorithme d’analyse intelligente SageMaker. -
model(un objet du modèle PyTorch) : le modèle PyTorch original -
loss_impl(une fonction de perte de l’analyse desmart_sifting.loss.abstract_sift_loss_module.Loss) : une fonction de perte de l’analyse configurée avec le moduleLosset enveloppe la fonction de perte de PyTorch. -
log_batch_data(bool) : spécifiez s’il faut consigner les données par lots. Si cette valeur est définie surTrue, l’analyse intelligente SageMaker consigne les détails des lots conservés ou éliminés. Nous vous recommandons de l’activer uniquement pour une tâche d’entraînement pilote. Lorsque la journalisation est activée, les exemples sont chargés sur le GPU et transférés vers le CPU, ce qui entraîne une surcharge. La valeur par défaut estFalse.
