Comment créer un point de terminaison d’inférence asynchrone

Créez un point de terminaison asynchrone de la même manière que vous créez un point de terminaison à l’aide des services d’hébergement SageMaker AI :

Pour créer un point de terminaison, vous devez d'abord créer un modèle avec CreateModel, où vous pointez sur l'artefact du modèle et sur un chemin de registre Docker (Image). Vous créez ensuite une configuration à l’aide de CreateEndpointConfig, où vous spécifiez un ou plusieurs modèles créés à l’aide de l’API CreateModel pour le déploiement et les ressources que vous souhaitez que SageMaker AI provisionne. Créez un point de terminaison avec CreateEndpoint à l'aide de la configuration de point de terminaison spécifiée dans la requête. Vous pouvez mettre à jour un point de terminaison asynchrone avec l'API UpdateEndpoint. Envoyez et recevez des requêtes d'inférence à partir du modèle hébergé sur le point de terminaison avec InvokeEndpointAsync. Vous pouvez supprimer vos points de terminaison avec l'API DeleteEndpoint.

Pour obtenir la liste complète des images SageMaker disponibles, consultez Images Deep Learning Containers disponibles. Consultez Conteneurs avec code d’inférence personnalisé pour savoir comment créer votre image Docker.