View a markdown version of this page

Comment fonctionne le tamisage SageMaker intelligent - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment fonctionne le tamisage SageMaker intelligent

L'objectif du tamisage SageMaker intelligent est de passer au crible vos données d'entraînement pendant le processus d'entraînement et de n'alimenter le modèle que par des échantillons plus informatifs. Lors d'un entraînement classique avec PyTorch, les données sont envoyées de manière itérative par lots à la boucle d'entraînement et à des dispositifs accélérateurs (tels que des GPU ou des puces Trainium) par le. PyTorch DataLoader SageMaker le tamisage intelligent est mis en œuvre à ce stade de chargement des données et est donc indépendant de tout prétraitement des données en amont dans votre pipeline de formation. SageMaker le criblage intelligent utilise votre modèle et sa fonction de perte spécifiée par l'utilisateur pour effectuer une transmission évaluative de chaque échantillon de données au fur et à mesure de son chargement. Les exemples qui renvoient des valeurs à faibles pertes ont moins d’impact sur l’apprentissage du modèle et sont donc exclus de l’entraînement, car il est déjà facile pour le modèle de faire la bonne prédiction à leur sujet avec un niveau de confiance élevé. En attendant, le modèle doit encore apprendre ces exemples à pertes relativement élevées. Ils sont donc conservés à des fins d’entraînement. Une entrée clé que vous pouvez définir pour le tamisage SageMaker intelligent est la proportion de données à exclure. Par exemple, en fixant la proportion à 25 %, les échantillons répartis dans le quartile le plus bas de la distribution des pertes (provenant d'un nombre d'échantillons précédents spécifié par l'utilisateur) sont exclus de la formation. High-lossles échantillons sont accumulés dans un lot de données affiné. Le lot de données affinées est envoyé à la boucle d’entraînement (transmission avant et arrière) et le modèle apprend et s’entraîne sur le lot de données affinées.

Le schéma suivant montre un aperçu de la conception de l'algorithme de tamisage SageMaker intelligent.

Schéma d'architecture du fonctionnement du tamisage SageMaker intelligent pendant l'entraînement lors du chargement des données.

En bref, le tamisage SageMaker intelligent fonctionne pendant l'entraînement au fur et à mesure du chargement des données. L'algorithme de criblage SageMaker intelligent effectue le calcul des pertes sur les lots et élimine les données qui ne s'améliorent pas avant le passage en avant et en arrière de chaque itération. Le lot de données affinées est ensuite utilisé pour la transmission avant et arrière.

Note

Le filtrage intelligent des données sur l' SageMaker IA utilise des passes supplémentaires pour analyser et filtrer vos données d'entraînement. En retour, il y a moins de transmissions arrière, car les données les moins pertinentes sont exclues de votre tâche d’entraînement. De ce fait, les modèles dont les transmissions arrière sont longues ou coûteuses obtiennent les meilleurs gains d’efficacité lorsqu’ils utilisent l’analyse intelligente. Par ailleurs, si la transmission avant de votre modèle prend plus de temps que la transmission arrière, la surcharge peut augmenter le temps total d’entraînement. Pour mesurer le temps passé par chaque transmission, vous pouvez exécuter une tâche d’entraînement pilote et collecter des journaux qui enregistrent le temps passé sur les processus. Pensez également à utiliser SageMaker Profiler qui fournit des outils de profilage et une application d'interface utilisateur. Pour en savoir plus, veuillez consulter la section SageMaker Profileur Amazon.

SageMaker le tamisage intelligent fonctionne pour les tâches de PyTorch-based formation grâce au parallélisme classique des données distribuées, qui permet de reproduire des modèles sur chaque processeur graphique et de les exécuter. AllReduce Il fonctionne avec PyTorch DDP et la bibliothèque parallèle de données distribuées SageMaker AI.