Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Réglages avancés
L'adaptateur de SageMaker HyperPod recettes est construit sur les frameworks Nvidia Nemo et PyTorch-Lightning. Si vous avez déjà utilisé ces frameworks, l'intégration de vos modèles ou fonctionnalités personnalisés dans l'adaptateur de SageMaker HyperPod recettes est un processus similaire. En plus de modifier l’adaptateur de recettes, vous pouvez modifier votre propre script de pré-entraînement ou de peaufinage. Pour obtenir des conseils sur l’écriture de votre script d’entraînement personnalisé, consultez des exemples
Utilisez l' SageMaker HyperPod adaptateur pour créer votre propre modèle
Dans l’adaptateur de recettes, vous pouvez personnaliser les fichiers suivants dans les emplacements suivants :
-
collections/data: contient un module chargé du chargement des jeux de données. Actuellement, il ne prend en charge que les ensembles de données provenant de HuggingFace. Si vous avez des exigences plus avancées, la structure du code vous permet d’ajouter des modules de données personnalisés dans le même dossier. -
collections/model: inclut les définitions de différents modèles de langage. Actuellement, il prend en charge les grands modèles de langage courants tels que Llama, Mixtral et Mistral. Vous avez la possibilité d’introduire vos propres définitions de modèle dans ce dossier. -
collections/parts: ce dossier contient des stratégies pour les modèles d’entraînement de manière distribuée. La stratégie Fully Sharded Data Parallel (FSDP) en est un exemple. Elle permet de partitionner un grand modèle de langage entre plusieurs accélérateurs. De plus, les stratégies prennent en charge diverses formes de parallélisme des modèles. Vous avez également la possibilité d’introduire vos propres stratégies d’entraînement personnalisées pour l’entraînement des modèles. -
utils: contient divers utilitaires destinés à faciliter la gestion d’une tâche d’entraînement. Il sert de référentiel pour vos propres outils. Vous pouvez utiliser vos propres outils pour des tâches telles que la résolution de problèmes ou l’analyse comparative. Vous pouvez également ajouter vos propres rappels PyTorch Lightning personnalisés dans ce dossier. Vous pouvez utiliser les rappels PyTorch Lightning pour intégrer de manière fluide des fonctionnalités ou des opérations spécifiques dans le cycle de vie de la formation. -
conf: contient les définitions du schéma de configuration utilisées pour valider des paramètres spécifiques dans une tâche d’entraînement. Si vous introduisez de nouveaux paramètres ou configurations, vous pouvez ajouter votre schéma personnalisé dans ce dossier. Vous pouvez utiliser le schéma personnalisé pour définir les règles de validation. Vous pouvez valider les types de données, les plages ou toute autre contrainte de paramètre. Vous pouvez également définir votre propre schéma personnalisé pour valider les paramètres.
