Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Pré-entraînement continu (CPT)
La pré-formation continue (CPT) est une technique de formation qui prolonge la phase de pré-formation d'un modèle de base en l'exposant à du texte supplémentaire non étiqueté provenant de domaines ou de corpus spécifiques. Contrairement au réglage fin supervisé, qui nécessite des paires d'entrées-sorties étiquetées, le CPT s'entraîne sur des documents bruts pour aider le modèle à acquérir une connaissance plus approfondie de nouveaux domaines, à apprendre la terminologie et les modèles d'écriture spécifiques à un domaine, et à s'adapter à des types de contenu ou à des domaines particuliers.
Cette approche est particulièrement utile lorsque vous disposez de volumes importants (des dizaines de milliards de jetons) de données textuelles spécifiques à un domaine, telles que des documents juridiques, de la littérature médicale, de la documentation technique ou du contenu commercial propriétaire, et que vous souhaitez que le modèle développe une fluidité native dans ce domaine. En général, après la phase CPT, le modèle doit subir des étapes supplémentaires de réglage des instructions pour permettre au modèle d'utiliser les connaissances nouvellement acquises et d'effectuer des tâches utiles.
Modèles pris en charge
Le CPT est disponible pour les modèles Amazon Nova suivants :
-
Nova 1.0 (Micro, Lite, Pro)
-
Nova 2.0 (Lite)
Quand utiliser Nova 1.0 par rapport à Nova 2.0
La gamme de modèles Amazon Nova offre plusieurs points de fonctionnement en termes de rapport prix/performances afin d'optimiser la précision, la vitesse et le coût.
Choisissez Nova 2.0 lorsque vous avez besoin des éléments suivants :
-
Capacités de raisonnement avancées pour les tâches analytiques complexes
-
Performances supérieures en matière de codage, de mathématiques et de résolution de problèmes scientifiques
-
Support d'une plus longue durée de contexte
-
De meilleures performances multilingues
Choisissez Nova 1.0 lorsque les conditions suivantes s'appliquent :
-
Votre cas d'utilisation nécessite une compréhension standard du langage sans raisonnement avancé.
-
Vous souhaitez optimiser pour réduire les coûts de formation et d'inférence.
-
Vous vous concentrez sur l'enseignement des connaissances et des comportements spécifiques au domaine du modèle plutôt que sur des tâches de raisonnement complexes.
-
Vous avez déjà validé les performances sur Nova 1.0 et vous n'avez pas besoin de fonctionnalités supplémentaires.
Note
Le modèle le plus grand n'est pas toujours meilleur. Tenez compte du compromis coût-performance et des exigences spécifiques de votre entreprise lorsque vous choisissez entre les modèles Nova 1.0 et Nova 2.0.
