Barrières de protection de déploiement pour la mise à jour des modèles en production
Les barrières de protection de déploiement sont un ensemble d’options de déploiement de modèle dans Amazon SageMaker AI Inference pour mettre à jour vos modèles de machine learning en production. À l'aide des options de déploiement entièrement gérées, vous pouvez contrôler le passage du modèle actuel en production à un nouveau. Les modes de déplacement du trafic dans les déploiements bleus/verts, tels que canary et linéaire, vous donnent un contrôle précis sur le processus de déplacement du trafic de votre modèle actuel vers le nouveau au cours de la mise à jour. Il existe également des sauvegardes intégrées telles que les restaurations automatiques qui vous aident à détecter les problèmes rapidement et à prendre automatiquement des mesures correctives avant que ces problèmes n'affectent considérablement la production.
Les barrières de protection de déploiement offrent les avantages suivants :
Sécurité de déploiement lors de la mise à jour des environnements de production. Une mise à jour régressive d'un environnement de production peut entraîner des temps d'arrêt imprévus et un impact commercial, tels qu'une latence accrue du modèle et des taux d'erreur élevés. Les barrières de protection de déploiement vous aident à atténuer ces risques en fournissant les bonnes pratiques et des barrières de protection de sécurité opérationnelle intégrées.
Déploiement entièrement géré. SageMaker AI prend en charge la configuration et l’orchestration de ces déploiements, et les intègre aux mécanismes de mise à jour des points de terminaison. Vous n'avez pas besoin de créer et de maintenir des mécanismes d'orchestration, de surveillance ou de restauration. Vous pouvez tirer parti de SageMaker AI pour configurer et orchestrer ces déploiements, et vous concentrer sur l’exploitation du ML pour vos applications.
Visibilité. Vous pouvez suivre la progression de votre déploiement via l'API DescribeEndpoint ou via Amazon CloudWatch Events (pour les points de terminaison pris en charge). Pour en savoir plus sur les événements dans SageMaker AI, consultez la section Changement d’état de déploiement de point de terminaison dans Événements qu’Amazon SageMaker AI envoie à Amazon EventBridge. Notez que si votre point de terminaison utilise l'une des fonctions de la page Exclusions, vous ne pouvez pas utiliser CloudWatch Events.
Note
Les barrières de protection de déploiement ne s'appliquent qu'aux types de points de terminaison Inférence asynchrone et Inférence en temps réel.
Comment démarrer
Nous prenons en charge deux types de déploiements pour mettre à jour les modèles en production : les déploiements bleus/verts et les déploiements propagés.
-
Déploiements bleu/vert : vous pouvez déplacer le trafic de votre ancienne flotte (la flotte bleue) vers une nouvelle flotte (flotte verte) avec les mises à jour. Les déploiements bleus/verts offrent plusieurs modes de déplacement du trafic. Un mode de transfert de trafic est une configuration qui spécifie comment SageMaker AI achemine le trafic des points de terminaison vers une nouvelle flotte contenant vos mises à jour. Les modes de transfert de trafic suivants vous offrent différents niveaux de contrôle sur le processus de mise à jour des points de terminaison :
-
Utilisation du déplacement de trafic tout à la fois déplace tout le trafic de vos points de terminaison de la flotte bleue vers la flotte verte. Une fois que le trafic passe à la flotte verte, vos alarmes Amazon CloudWatch préspécifiées commencent à contrôler la flotte verte pendant une durée définie (la période de préparation). Si aucune alarme ne se déclenche pendant la période de préparation, alors SageMaker AI résilie la flotte bleue.
-
Utilisation du déplacement de trafic canary déplace une petite partie de votre trafic (un canary) vers la flotte verte et la surveille pendant une période de préparation. Si le test canary réussit sur la flotte verte, alors SageMaker AI déplace le reste du trafic de la flotte bleue vers la flotte verte avant de résilier la flotte bleue.
-
Utilisation du déplacement de trafic linéaire déplace encore plus de personnalisation sur le nombre d'étapes de déplacement du trafic et le pourcentage de trafic à déplacer pour chaque étape. Alors que le déplacement Canary vous permet de déplacer le trafic en deux étapes, le déplacement linéaire étend cela à des étapes n espacées linéairement.
-
-
Utilisation des déploiements propagés : vous pouvez mettre à jour votre point de terminaison au fur et à mesure que SageMaker AI provisionne progressivement de la capacité et déplace le trafic vers une nouvelle flotte par étapes correspondant à la taille de lot que vous spécifiez. Les instances de la nouvelle flotte sont mises à jour avec la nouvelle configuration de déploiement, et si aucune alarme CloudWatch ne se déclenche pendant la période de préparation, SageMaker AI nettoie les instances de l’ancienne flotte. Cette option vous permet de contrôler précisément le nombre d'instances ou le pourcentage de capacité déplacé à chaque étape.
Vous pouvez créer et gérer votre déploiement via les commandes AWS Command Line Interface et d'API UpdateEndpoint et CreateEndpoint SageMaker. Consultez chacune des pages de déploiement pour plus de détails sur la façon de configurer votre déploiement. Notez que si votre point de terminaison utilise l'une des fonctions répertoriées sur la page Exclusions, vous ne pouvez pas utiliser de barrière de protection de déploiement.
Pour suivre des exemples guidés qui montrent comment utiliser les barrières de protection de déploiement, consultez nos exemples de blocs-notes Jupyter
