Création d’un test shadow - Amazon SageMaker AI
PrérequisSaisir les détails du test shadow Saisir les paramètres du test shadow

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d’un test shadow

Vous pouvez créer un test shadow pour comparer les performances d’une variante shadow à celles d’une variante de production. Vous pouvez exécuter le test sur un point de terminaison existant qui répond à des demandes d’inférence ou vous pouvez créer un nouveau point de terminaison sur lequel exécuter le test.

Pour créer un shadow test, vous devez spécifier les informations suivantes :

  • Variante de production qui reçoit et répond à 100 % des demandes d’inférence entrantes.

  • Variante shadow qui reçoit un pourcentage des demandes entrantes, répliquées à partir de la variante de production, mais qui ne renvoie aucune réponse.

Pour chaque variante, vous pouvez utiliser SageMaker AI pour contrôler le modèle, le type d’instance et le nombre d’instances. Vous pouvez configurer le pourcentage de demandes entrantes, appelé pourcentage d’échantillonnage du trafic, que vous souhaitez répliquer dans votre variante shadow. SageMaker AI gère la réplication des demandes vers votre variante shadow et vous pouvez modifier le pourcentage d’échantillonnage du trafic lorsque votre test est planifié ou en cours d’exécution. Vous pouvez activer la capture de données en option pour journaliser les demandes et les réponses de vos variantes de production et de vos variantes shadow.

Note

SageMaker AI prend en charge au maximum une variante shadow par point de terminaison. Pour un point de terminaison doté d’une variante shadow, il ne peut y avoir qu’une seule variante de production.

Vous pouvez programmer le début du test à tout moment et le poursuivre pendant une durée spécifiée. La durée par défaut est de 7 jours et la durée maximale est de 30 jours. Une fois le test terminé, le point de terminaison revient à l’état dans lequel il se trouvait avant le début du test. Cela garantit que vous n’avez pas à nettoyer manuellement les ressources à la fin du test.

Vous pouvez contrôler un test en cours via un tableau de bord de la console SageMaker AI. Le tableau de bord fournit une comparaison côte à côte des métriques d’invocation et des métriques d’instance entre les variantes de production et les variantes shadow, ainsi qu’une vue tabulaire contenant des statistiques de métriques pertinentes. Ce tableau de bord est également disponible pour les tests terminés. Une fois que vous avez examiné les métriques, vous pouvez choisir de promouvoir la variante shadow en tant que nouvelle variante de production ou de conserver la variante de production existante. Une fois que vous avez promu la variante shadow, elle répond à toutes les demandes entrantes. Pour plus d’informations, consultez Promotion d’une variante shadow.

La procédure suivante indique comment créer un test shadow via la console SageMaker AI. Le flux de travail varie selon que vous souhaitez utiliser un point de terminaison existant ou en créer un nouveau pour le test shadow.

Prérequis

Avant de créer un test shadow à l’aide de la console SageMaker AI, vous devez disposer d’un modèle SageMaker AI prêt à être utilisé. Pour plus d’informations sur la création d’un modèle SageMaker AI, consultez Déploiement de modèles pour l’inférence en temps réel.

Vous pouvez commencer par des tests shadow avec un point de terminaison existant doté d’une variante de production et d’une variante shadow, un point de terminaison existant avec uniquement une variante de production ou uniquement les modèles SageMaker AI que vous souhaitez comparer. Les tests shadow permettent de créer un point de terminaison et d’ajouter des variantes avant le début du test.

Note

Il est possible que certaines fonctionnalités du point de terminaison rendent votre point de terminaison incompatible avec les essais miroirs. Si votre point de terminaison utilise l’une des fonctionnalités suivantes, vous ne pouvez pas utiliser d’essais miroirs sur votre point de terminaison et votre demande de configuration d’essais miroirs entraînera des erreurs de validation.

  • Inférence sans serveur

  • Inférence asynchrone

  • Conteneurs de marketplace

  • Points de terminaison multi-conteneurs

  • Points de terminaison multi-modèles

  • Points de terminaison qui utilisent des instances Inf1 (basées sur Inferentia)

Saisir les détails du test shadow

Pour commencer à créer votre test shadow, remplissez la page Enter shadow test details(Saisir les détails du test shadow) en procédant comme suit :

  1. Ouvrez la console SageMaker AI.

  2. Dans le volet de navigation de gauche, sélectionnez Inference (Inférence), puis Shadow tests (Tests shadow).

  3. Choisissez Create shadow test (Créer un test shadow).

  4. Sous Name (Nom), saisissez un nom pour le test.

  5. (Facultatif) Dans le champ Description, saisissez une description du test.

  6. (Facultatif) Spécifiez Tags (Balises) à l’aide des paires Key (Clé) et Value (Valeur).

  7. Choisissez Suivant.

Saisir les paramètres du test shadow

Après avoir rempli la page Enter shadow test details(Saisir les détails du test shadow), remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow). Si vous disposez déjà d’un point de terminaison d’inférence SageMaker AI et d’une variante de production, suivez le flux de travail Utiliser un point de terminaison existant. Si vous n’avez pas encore de point de terminaison, suivez le flux de travail Create a new endpoint (Créer un point de terminaison).

Use an existing endpoint

Si vous souhaitez utiliser un point de terminaison existant pour votre test, remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow) en procédant comme suit :

  1. Choisissez un rôle auquel est attachée la politique IAM AmazonSageMakerFullAccess.

  2. Choisissez Utiliser un point de terminaison existant, puis choisissez l’un des points de terminaison disponibles.

  3. (Facultatif) Pour chiffrer le volume de stockage sur votre point de terminaison, choisissez une clé KMS existante ou choisissez Enter a KMS key ARN (Entrer un ARN de clé KMS) dans la liste déroulante sous Encryption key (Clé de chiffrement). Si vous choisissez la deuxième option, un champ permettant d’entrer l’ARN de la clé KMS apparaît. Entrez l’ARN de la clé KMS dans ce champ.

  4. Si vous avez plusieurs variantes de production derrière ce point de terminaison, supprimez celles que vous ne souhaitez pas utiliser pour le test. Vous pouvez supprimer une variante de modèle en la sélectionnant, puis en choisissant Remove (Supprimer).

  5. Si vous n’avez pas encore de variante shadow, ajoutez-en une. Pour ajouter une variante shadow, procédez comme suit :

    1. Choisissez Ajouter.

    2. Choisissez Shadow variant (Variante shadow).

    3. Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante shadow.

    4. Choisissez Enregistrer.

  6. (Facultatif) À l’étape précédente, la variante shadow est ajoutée avec les paramètres par défaut. Pour modifier ces paramètres, sélectionnez la variante shadow et choisissez Edit (Modifier). La boîte de dialogue Modifier la variante shadow s’affiche. Pour plus d’informations sur comment remplir cette boîte de dialogue, consultez Modifier un essai miroir.

  7. Dans la section Schedule (Calendrier), entrez la durée du test en procédant comme suit :

    1. Choisissez la case sous Duration (Durée). Un calendrier contextuel s’affiche.

    2. Sélectionnez les dates de début et de fin dans le calendrier ou saisissez les dates de début et de fin dans les champs Start date (Date de début) et End date (Date de fin), respectivement.

    3. (Facultatif) Pour les champs Start time (Heure de début) et End time (Heure de fin), entrez les heures de début et de fin, respectivement, au format 24 heures.

    4. Choisissez Appliquer.

    La durée minimale est de 1 heure et la durée maximale de 30 jours.

  8. (Facultatif) Activez l’option Enable data capture -Activer la capture de données) pour enregistrer les informations de demande d’inférence et de réponse de votre point de terminaison dans un compartiment Amazon S3, puis entrez l’emplacement du compartiment Amazon S3.

  9. Choisissez Create shadow test (Créer un test shadow).

Create a new endpoint

Si n’avez pas de point de terminaison existant ou si vous voulez créez un nouveau point de terminaison pour votre test, remplissez la page Enter shadow test settings (Saisir les paramètres du test shadow) en procédant comme suit :

  1. Choisissez un rôle auquel est attachée la politique IAM AmazonSageMakerFullAccess.

  2. Choisissez Create a new endpoint (Créer un point de terminaison).

  3. Sous Name (Nom), saisissez un nom pour le point de terminaison.

  4. Ajoutez une variante de production et une variante shadow au point de terminaison :

    • Pour ajouter une variante de production, choisissez Add (Ajouter), puis choisissez Production variant (Variante de production). Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante de production, puis choisissez Save (Enregistrer).

    • Pour ajouter une variante shadow, choisissez Add (Ajouter), puis Shadow variant (Variante shadow). Dans la boîte de dialogue Add model (Ajouter un modèle), sélectionnez le modèle à utiliser pour votre variante shadow, puis choisissez Save (Enregistrer).

  5. (Facultatif) À l’étape précédente, la variante shadow est ajoutée avec les paramètres par défaut. Pour modifier ces paramètres, sélectionnez la variante shadow et choisissez Edit (Modifier). La boîte de dialogue Modifier la variante shadow s’affiche. Pour plus d’informations sur comment remplir cette boîte de dialogue, consultez Modifier un essai miroir.

  6. Dans la section Schedule (Calendrier), entrez la durée du test en procédant comme suit :

    1. Choisissez la case sous Duration (Durée). Un calendrier contextuel s’affiche.

    2. Sélectionnez les dates de début et de fin dans le calendrier ou saisissez les dates de début et de fin sous Start date (Date de début) et End date (Date de fin), respectivement.

    3. (Facultatif) Sous Start time (Heure de début) et End time (Heure de fin), entrez les heures de début et de fin, respectivement, au format 24 heures.

    4. Choisissez Appliquer.

    La durée minimale est de 1 heure et la durée maximale de 30 jours.

  7. (Facultatif) Activez l’option Enable data capture -Activer la capture de données) pour enregistrer les informations de demande d’inférence et de réponse de votre point de terminaison dans un compartiment Amazon S3, puis entrez l’emplacement du compartiment Amazon S3.

  8. Choisissez Create shadow test (Créer un test shadow).

Une fois les procédures précédentes terminées, vous devriez maintenant avoir un test programmé pour commencer à la date et à l’heure de début que vous avez spécifiées. Vous pouvez afficher la progression du test à partir d’un tableau de bord. Pour plus d’informations sur l’affichage de votre test et les actions à effectuer, consultez Comment afficher, surveiller et modifier des essais miroirs.