Comment fonctionne l’analyse intelligente SageMaker - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment fonctionne l’analyse intelligente SageMaker

L’objectif de l’analyse intelligente SageMaker est de passer au crible vos données d’entraînement pendant le processus d’entraînement et de fournir uniquement des exemples plus informatifs au modèle. Lors d’un entraînement typique avec PyTorch, les données sont envoyées de manière itérative par lots à la boucle d’entraînement et aux appareils accélérateurs (tels que les GPU ou les puces Trainium) par le DataLoader de PyTorch. L’analyse intelligente SageMaker est mise en œuvre à cette étape du chargement des données et est donc indépendante de tout traitement préalable des données en amont dans votre pipeline d’entraînement. L’analyse intelligente SageMaker utilise votre modèle et sa fonction de perte spécifiée par l’utilisateur pour effectuer une transmission avant évaluative de chaque exemple de données au fur et à mesure de son chargement. Les exemples qui renvoient des valeurs à faibles pertes ont moins d’impact sur l’apprentissage du modèle et sont donc exclus de l’entraînement, car il est déjà facile pour le modèle de faire la bonne prédiction à leur sujet avec un niveau de confiance élevé. En attendant, le modèle doit encore apprendre ces exemples à pertes relativement élevées. Ils sont donc conservés à des fins d’entraînement. L’une des entrées clés que vous pouvez définir pour l’analyse intelligente SageMaker est la proportion de données à exclure. Par exemple, en fixant la proportion à 25 %, les exemples répartis dans le quartile le plus bas de la distribution des pertes (prélevés sur un nombre d’exemples précédents spécifié par l’utilisateur) sont exclus de l’entraînement. Les exemples à pertes élevées sont accumulés dans un lot de données affinées. Le lot de données affinées est envoyé à la boucle d’entraînement (transmission avant et arrière) et le modèle apprend et s’entraîne sur le lot de données affinées.

Le schéma suivant montre un aperçu de la conception de l’algorithme d’analyse intelligente SageMaker.

Schéma d’architecture illustrant le fonctionnement de l’analyse intelligente SageMaker pendant l’entraînement lorsque les données sont chargées.

En bref, l’analyse intelligente SageMaker fonctionne pendant l’entraînement lorsque les données sont chargées. L’algorithme de l’analyse intelligente SageMaker calcule les pertes sur les lots et élimine les données qui ne s’améliorent pas avant la transmission avant et arrière de chaque itération. Le lot de données affinées est ensuite utilisé pour la transmission avant et arrière.

Note

L’analyse intelligente des données sur SageMaker AI utilise des transmissions avant supplémentaires pour analyser et filtrer vos données d’entraînement. En retour, il y a moins de transmissions arrière, car les données les moins pertinentes sont exclues de votre tâche d’entraînement. De ce fait, les modèles dont les transmissions arrière sont longues ou coûteuses obtiennent les meilleurs gains d’efficacité lorsqu’ils utilisent l’analyse intelligente. Par ailleurs, si la transmission avant de votre modèle prend plus de temps que la transmission arrière, la surcharge peut augmenter le temps total d’entraînement. Pour mesurer le temps passé par chaque transmission, vous pouvez exécuter une tâche d’entraînement pilote et collecter des journaux qui enregistrent le temps passé sur les processus. Pensez également à utiliser le profileur SageMaker qui fournit des outils de profilage et une application d’interface utilisateur. Pour en savoir plus, consultez Profileur Amazon SageMaker.

L’analyse intelligente SageMaker fonctionne pour les tâches d’entraînement basées sur PyTorch grâce au parallélisme de données distribué classique, qui permet de dupliquer le modèle sur chaque GPU et exécute AllReduce. Il fonctionne avec PyTorch DDP et la bibliothèque des données distribuées parallèles SageMaker AI.