Comment fonctionne le tamisage SageMaker intelligent - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment fonctionne le tamisage SageMaker intelligent

L'objectif du criblage SageMaker intelligent est de passer au crible vos données d'entraînement pendant le processus d'entraînement et de ne fournir au modèle que des échantillons plus informatifs. Lors d'un entraînement classique avec PyTorch, les données sont envoyées de manière itérative par lots à la boucle d'entraînement et aux dispositifs accélérateurs (tels que GPUs les puces Trainium) par le. PyTorchDataLoader SageMaker le criblage intelligent est mis en œuvre à cette étape du chargement des données et est donc indépendant de tout prétraitement des données en amont dans votre pipeline d'entraînement. SageMaker le criblage intelligent utilise votre modèle et sa fonction de perte spécifiée par l'utilisateur pour effectuer une transmission directe évaluative de chaque échantillon de données lors de son chargement. Les exemples qui renvoient des valeurs à faibles pertes ont moins d’impact sur l’apprentissage du modèle et sont donc exclus de l’entraînement, car il est déjà facile pour le modèle de faire la bonne prédiction à leur sujet avec un niveau de confiance élevé. En attendant, le modèle doit encore apprendre ces exemples à pertes relativement élevées. Ils sont donc conservés à des fins d’entraînement. L'une des entrées clés que vous pouvez définir pour le criblage SageMaker intelligent est la proportion de données à exclure. Par exemple, en fixant la proportion à 25 %, les exemples répartis dans le quartile le plus bas de la distribution des pertes (prélevés sur un nombre d’exemples précédents spécifié par l’utilisateur) sont exclus de l’entraînement. Les exemples à pertes élevées sont accumulés dans un lot de données affinées. Le lot de données affinées est envoyé à la boucle d’entraînement (transmission avant et arrière) et le modèle apprend et s’entraîne sur le lot de données affinées.

Le schéma suivant donne un aperçu de la conception de l'algorithme de tamisage SageMaker intelligent.

Schéma d'architecture illustrant le fonctionnement du criblage SageMaker intelligent pendant l'entraînement lorsque les données sont chargées.

En bref, le tamisage SageMaker intelligent fonctionne pendant l'entraînement lorsque les données sont chargées. L'algorithme de tamisage SageMaker intelligent calcule les pertes sur les lots et élimine les données qui ne s'améliorent pas avant le passage en avant et en arrière de chaque itération. Le lot de données affinées est ensuite utilisé pour la transmission avant et arrière.

Note

Le tri intelligent des données sur l' SageMaker IA utilise des passes avancées supplémentaires pour analyser et filtrer vos données d'entraînement. En retour, il y a moins de transmissions arrière, car les données les moins pertinentes sont exclues de votre tâche d’entraînement. De ce fait, les modèles dont les transmissions arrière sont longues ou coûteuses obtiennent les meilleurs gains d’efficacité lorsqu’ils utilisent l’analyse intelligente. Par ailleurs, si la transmission avant de votre modèle prend plus de temps que la transmission arrière, la surcharge peut augmenter le temps total d’entraînement. Pour mesurer le temps passé par chaque transmission, vous pouvez exécuter une tâche d’entraînement pilote et collecter des journaux qui enregistrent le temps passé sur les processus. Pensez également à utiliser SageMaker Profiler qui fournit des outils de profilage et une application d'interface utilisateur. Pour en savoir plus, veuillez consulter la section Amazon SageMaker Profiler.

SageMaker le criblage intelligent fonctionne pour les tâches de formation PyTorch basées sur le parallélisme de données distribué classique, qui permet de répliquer le modèle sur chaque processeur graphique et de le rendre performant. AllReduce Il fonctionne avec le PyTorch DDP et la bibliothèque SageMaker AI distributed data parallel library.