Mise en cache des étapes du pipeline

Dans Amazon SageMaker Pipelines, vous pouvez utiliser la mise en cache des étapes pour économiser du temps et des ressources lorsque vous réexécutez des pipelines. La mise en cache des étapes réutilise la sortie d’une exécution précédente réussie d’une étape (au lieu de la recalculer) lorsque l’étape présente la même configuration et les mêmes entrées. Cela vous aide à obtenir des résultats cohérents lors de réexécutions du pipeline avec des paramètres identiques. La rubrique suivante vous montre comment configurer et activer la mise en cache des étapes pour vos pipelines.

Lorsque vous utilisez la mise en cache de signature d’étape, Pipelines tente de trouver une exécution précédente de votre étape de pipeline actuelle avec les mêmes valeurs pour certains attributs. S’il les trouve, Pipelines propage les sorties de l’exécution précédente au lieu de recalculer l’étape. Les attributs cochés sont spécifiques au type d’étape et sont répertoriés dans Attributs de clé de cache par défaut par type d’étape du pipeline.

Vous devez vous inscrire à la mise en cache d'étape, car elle est désactivée par défaut. Lorsque vous activez la mise en cache d'étape, vous devez également définir un délai d'expiration. Ce délai définit la période au cours de laquelle une exécution précédente peut rester candidate à une réutilisation.

La mise en cache des étapes ne prend en compte que les exécutions réussies ; elle ne réutilise jamais celles ayant échoué. Lorsqu’il existe plusieurs exécutions réussies au cours de la période d’expiration, Pipelines utilise le résultat pour l’exécution réussie la plus récente. Si aucune exécution réussie ne correspond au délai imparti, Pipelines réexécute l’étape. Si l’exécuteur trouve une exécution précédente qui répond aux critères mais qui est toujours en cours, les deux étapes poursuivent leur exécution et mettent à jour le cache si elles réussissent.

La mise en cache d'étape n'est limitée que pour les pipelines individuels, de sorte que vous ne pouvez pas réutiliser une étape d'un autre pipeline même s'il existe une correspondance de signature d'étape.

La mise en cache d’étape est disponible pour les types d’étape suivants :