Bonnes pratiques

Les sections suivantes suggèrent de bonnes pratiques à suivre lorsque vous utilisez le décorateur @step pour les étapes de votre pipeline.

Utilisation de groupes à chaud

Pour accélérer les exécutions des étapes du pipeline, utilisez la fonctionnalité des groupes à chaud fournie pour les tâches d’entraînement. Vous pouvez activer la fonctionnalité des groupes à chaud en fournissant l’argument keep_alive_period_in_seconds au décorateur @step, comme illustré dans l’extrait de code suivant :

@step(
   keep_alive_period_in_seconds=900
)

Pour plus d’informations sur les groupes d’instances pré-initialisées, consultez Groupes d’instances pré-initialisées gérés par SageMaker AI.

Structuration de votre répertoire

Il est conseillé d’utiliser des modules de code lors de l’utilisation du décorateur @step. Placez le module pipeline.py, dans lequel vous invoquez les fonctions d’étape et définissez le pipeline, à la racine de l’espace de travail. La structure recommandée se présente comme suit :

.
├── config.yaml # the configuration file that define the infra settings
├── requirements.txt # dependencies
├── pipeline.py  # invoke @step-decorated functions and define the pipeline here
├── steps/
| ├── processing.py
| ├── train.py
├── data/
├── test/