Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Ressources pour utiliser Hugging Face avec Amazon AI SageMaker
Amazon SageMaker AI permet aux clients de s'entraîner, d'affiner et d'exécuter des inférences à l'aide des modèles Hugging Face pour le traitement du langage naturel (NLP) sur l'IA. SageMaker Vous pouvez utiliser Hugging Face tant pour l’entraînement que pour l’inférence. La section suivante fournit des informations sur les modèles Hugging Face et inclut du matériel de référence que vous pouvez utiliser pour apprendre à utiliser Hugging SageMaker Face avec l'IA.
Cette fonctionnalité est disponible via le développement de AWSDeep Learning Containers Hugging Face. Ces conteneurs incluent les transformateurs Hugging Face, les tokéniseurs et la bibliothèque de jeux de données, qui vous permet d'utiliser ces ressources pour vos tâches d'entraînement et d'inférence. Pour obtenir la liste des images Deep Learning Containers disponibles, consultez Images Deep Learning Containers disponibles
Pour utiliser les conteneurs Hugging Face Deep Learning avec le SDK SageMaker Python à des fins de formation, consultez le SageMaker Hugging Face
Pour plus d’informations sur Hugging Face et les modèles disponibles, consultez la documentation Hugging Face
Entraînement
Pour exécuter l’entraînement, utilisez l’un des milliers de modèles disponibles dans Hugging Face et optimisez-le pour votre cas d’utilisation avec un entraînement supplémentaire. Avec l' SageMaker IA, vous pouvez utiliser une formation standard ou tirer parti de la formation parallèle basée sur les données distribuées et les modèles basés sur l'SageMaker IA.
Comme pour les autres tâches de SageMaker formation utilisant du code personnalisé, vous pouvez capturer vos propres métriques en transmettant une définition de métriques au SDK SageMaker Python. Pour un exemple, voir Définition des métriques d'entraînement (SDK SageMaker Python). Vous pouvez accéder aux métriques capturées en utilisant CloudWatchet en tant que Pandas DataFrame en utilisant TrainingJobAnalytics
Comment exécuter l’entraînement avec l’estimateur Hugging Face
Vous pouvez implémenter le Hugging Face Estimator pour les tâches de formation à l'aide du SDK SageMaker AI Python. Le SDK SageMaker Python est une bibliothèque open source pour la formation et le déploiement de modèles d'apprentissage automatique sur l' SageMaker IA. Pour plus d'informations sur le Hugging Face Estimator, consultez la documentation du SDK SageMaker AI Python
Avec le SDK SageMaker Python, vous pouvez exécuter des tâches de formation à l'aide de l'estimateur Hugging Face dans les environnements suivants :
-
Amazon SageMaker Studio Classic : Studio Classic est le premier environnement de développement (IDE) entièrement intégré pour l'apprentissage automatique (ML). Studio Classic fournit une interface visuelle Web unique où vous pouvez effectuer toutes les étapes de développement ML requises pour :
-
préparer
-
build
-
entraîner et régler ;
-
déployer et gérer des modèles.
Pour en savoir plus sur l’utilisation des blocs-notes Jupyter dans Studio Classic, consultez Utiliser les blocs-notes Amazon SageMaker Studio Classic.
-
-
SageMakerInstances de bloc-notes : une instance de SageMaker bloc-notes Amazon est une instance de calcul d'apprentissage automatique (ML) exécutant l'application Jupyter Notebook. Cette application vous permet d’exécuter des blocs-notes Jupyter dans votre instance de bloc-notes pour :
-
préparer et traiter les données ;
-
écrire du code pour entraîner des modèles ;
-
déployer des modèles sur un hébergement SageMaker AI
-
testez ou validez vos modèles sans les fonctionnalités de SageMaker Studio telles que le débogueur, la surveillance des modèles et un IDE basé sur le Web
-
-
Localement : si vous êtes connecté AWS et que vous disposez des autorisations d' SageMaker IA appropriées, vous pouvez utiliser le SDK SageMaker Python localement. Avec une utilisation locale, vous pouvez lancer des tâches de formation et d'inférence à distance pour Hugging Face in SageMaker AI on. AWS Cela fonctionne sur votre machine locale, ainsi que sur d'autres AWS services dotés d'un SDK SageMaker Python connecté et des autorisations appropriées.
Inférence
À des fins d'inférence, vous pouvez utiliser votre modèle Hugging Face entraîné ou l'un des modèles Hugging Face préentraînés pour déployer une tâche d'inférence avec l'IA. SageMaker Grâce à cette collaboration, vous n'avez besoin que d'une seule ligne de code pour déployer à la fois vos modèles entraînés et vos modèles préentraînés avec l' SageMaker IA. Vous pouvez également exécuter des tâches d’inférence sans écrire aucun code d’inférence personnalisé. Avec un code d'inférence personnalisé, vous pouvez personnaliser la logique d'inférence en fournissant votre propre script Python.
Déploiement d’une tâche d’inférence à l’aide des conteneurs de deep learning Hugging Face
Deux options s'offrent à vous pour exécuter l'inférence avec l' SageMaker IA. Vous pouvez exécuter l’inférence à l’aide d’un modèle que vous avez entraîné ou déployer un modèle Hugging Face pré-entraîné.
-
Exécution de l’inférence avec votre modèle entraîné : deux options s’offrent à vous pour exécuter l’inférence avec votre propre modèle entraîné :
-
Exécutez une inférence avec un modèle que vous avez entraîné à l'aide d'un modèle Hugging Face existant avec les AI SageMaker Hugging Face Deep Learning Containers.
-
Apportez votre propre modèle Hugging Face existant et déployez-le à SageMaker l'aide de l'IA.
Lorsque vous exécutez une inférence avec un modèle que vous avez entraîné avec l' SageMaker AI Hugging Face Estimator, vous pouvez déployer le modèle immédiatement après la fin de l'entraînement. Vous pouvez également charger le modèle entraîné dans un compartiment Amazon S3 et l’ingérer lors d’une exécution ultérieure de l’inférence.
Si vous apportez votre propre modèle Hugging Face existant, vous devez charger le modèle entraîné dans un compartiment Amazon S3. Vous ingérez ensuite ce compartiment lors de l’exécution de l’inférence, comme indiqué dans l’exemple de déploiement de vos transformeurs Hugging Face pour l’inférence
. -
-
Exécutez l'inférence avec un HuggingFace modèle préentraîné : vous pouvez utiliser l'un des milliers de modèles Hugging Face préentraînés pour exécuter vos tâches d'inférence sans formation supplémentaire. Pour exécuter l’inférence, sélectionnez le modèle pré-entraîné dans la liste des modèles Hugging Face
, comme indiqué dans l’exemple de déploiement des transformeurs Hugging Face pré-entraînés pour l’inférence .
Que souhaitez-vous faire ?
Les blocs-notes suivants du référentiel Hugging Face Notebooks montrent comment utiliser les conteneurs Hugging Face Deep Learning SageMaker avec l'IA dans différents cas d'utilisation.
- Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face SageMaker in AI PyTorch with.
-
Pour un exemple de bloc-notes Jupyter, consultez la démo de mise PyTorch en route
. - Je souhaite former et déployer un modèle de classification de texte à l'aide de Hugging Face SageMaker in AI TensorFlow with.
-
Pour un exemple de bloc-notes Jupyter, consultez l'exemple TensorFlow Getting Started
. - Je souhaite organiser une formation distribuée avec le parallélisme des données à l'aide de Hugging Face SageMaker et AI Distributed.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement distribué
. - Je souhaite organiser une formation distribuée avec le parallélisme des modèles à l'aide de Hugging Face SageMaker et AI Distributed.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Parallélisme des modèles
. - Je souhaite utiliser une instance ponctuelle pour entraîner et déployer un modèle utilisant Hugging Face SageMaker dans l'IA.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Instances Spot
. - Je souhaite capturer des métriques personnalisées et utiliser le point de contrôle SageMaker AI lors de l'entraînement d'un modèle de classification de texte à l'aide de Hugging Face in AI. SageMaker
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement avec des métriques personnalisées
. - Je souhaite former un TensorFlow modèle distribué de réponses aux questions à l'aide de Hugging Face en IA. SageMaker
-
Pour un exemple de Jupyter Notebook, consultez l'exemple de TensorFlow formation distribuée
. - Je souhaite entraîner un modèle de synthèse distribué à l'aide de Hugging Face en IA. SageMaker
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Entraînement avec synthèse distribuée
. - Je souhaite entraîner un modèle de classification d'images à l'aide de Hugging Face SageMaker in AI.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple d’entraînement de transformeur de vision
. - Je souhaite déployer mon modèle Hugging Face entraîné SageMaker dans l'IA.
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Déploiement de vos transformeurs Hugging Face pour l’inférence
. - Je souhaite déployer un modèle Hugging Face pré-entraîné en IA. SageMaker
-
Pour obtenir un exemple de bloc-notes Jupyter, consultez l’exemple Déploiement de transformeurs Hugging Face pré-entraînés pour l’inférence
.
