Notebook di esempio di Amazon SageMaker Autopilot

Per impostazione predefinita, Autopilot consente di distribuire modelli generati su endpoint di inferenza in tempo reale. In questo repository, il notebook illustra come distribuire modelli Autopilot addestrati con le modalità ENSEMBLING e HYPERPARAMETER OPTIMIZATION (HPO) su endpoint serverless. Gli endpoint serverless avviano automaticamente le risorse di calcolo e le ridimensionano in base al traffico, eliminando la necessità di scegliere i tipi di istanza o gestire le policy di scalabilità.

Selezione di funzionalità personalizzate

Autopilot ispeziona il set di dati ed esegue una serie di candidati per individuare la combinazione ottimale di fasi di preelaborazione dei dati, algoritmi di machine learning e iperparametri. È possibile implementarlo facilmente su un endpoint in tempo reale o per l'elaborazione in batch.

In alcuni casi, può essere opportuno avere la flessibilità necessaria per aggiungere codice di elaborazione dati personalizzato ad Autopilot. Ad esempio, i set di dati potrebbero contenere un gran numero di variabili indipendenti e potresti voler incorporare una fase di selezione delle funzionalità personalizzata per rimuovere prima le variabili irrilevanti. Il set di dati più piccolo risultante può quindi essere utilizzato per avviare un processo Autopilot. In definitiva, dovresti includere anche il codice di elaborazione personalizzato e i modelli di Autopilot per l'elaborazione in tempo reale o in batch.

Esempio di pipeline

Sebbene Autopilot semplifichi il processo di creazione di modelli ML, gli ingegneri MLOps sono comunque responsabili della creazione, dell'automazione e della gestione dei flussi di lavoro ML end-to-end in produzione. SageMaker Pipelines può aiutare ad automatizzare varie fasi del ciclo di vita del machine learning, come la preelaborazione dei dati, l'addestramento dei modelli, l'ottimizzazione degli iperparametri, la valutazione dei modelli e l'implementazione. Questo notebook serve come dimostrazione di come incorporare Autopilot in un flusso di lavoro di addestramento AutoML end-to-end di SageMaker Pipelines. Per avviare un esperimento Autopilot all'interno di Pipelines, è necessario creare un flusso di lavoro per la creazione di modelli scrivendo codice di integrazione personalizzato utilizzando le fasi Lambda o Elaborazione di Pipelines. Per ulteriori informazioni, consulta Spostare i modelli ML di Amazon SageMaker Autopilot dalla sperimentazione alla produzione utilizzando Amazon SageMaker Pipelines.

In alternativa, quando utilizzi Autopilot in modalità Ensembling, puoi fare riferimento all'esempio del notebook che dimostra come utilizzare la fase AutoML nativa nella fase AutoML nativa di SageMaker Pipeline. Con Autopilot supportato come fase nativa all'interno di Pipelines, ora puoi aggiungere una fase di addestramento automatizzata (AutoMLStep) alle tue pipeline e richiamare un esperimento Autopilot in modalità Ensembling.

Questo notebook illustra come utilizza il set di dati di marketing bancario per prevedere se un cliente si iscriverà per un deposito a termine presso una banca. È possibile utilizzare Autopilot in questo set di dati per ottenere la pipeline ML più accurata esplorando le opzioni contenute in varie pipeline candidate. Autopilot genera ogni candidato in una procedura in due fasi. La prima fase esegue l'ingegneria automatizzata delle funzionalità sul set di dati. La seconda fase addestra e sintonizza un algoritmo per produrre un modello. Il notebook contiene istruzioni su come addestrare il modello e su come distribuire il modello per eseguire l'inferenza batch utilizzando i migliori candidati.

Questo notebook descrive l’utilizzo del machine learning per l’identificazione automatica di clienti insoddisfatti; questa operazione è nota anche come previsione del tasso di abbandono dei clienti. Nell'esempio viene illustrato come analizzare un set di dati disponibile pubblicamente ed eseguire su di esso l'engineering delle funzionalità. Successivamente viene illustrato come ottimizzare un modello selezionando la pipeline con le prestazioni migliori insieme agli iperparametri ottimali per l'algoritmo di addestramento. Infine, mostra come distribuire il modello su un endpoint ospitato e valutarne le previsioni rispetto alla verità di base. Tuttavia, i modelli ML raramente forniscono previsioni perfette. Ecco perché questo notebook si riferisce anche a come incorporare i costi relativi degli errori di previsione quando si determina il risultato finanziario dell'uso del ML.

Anche questo notebook descrive l’utilizzo del machine learning per l’identificazione automatica di clienti insoddisfatti; questa operazione è nota anche come previsione del tasso di abbandono dei clienti. Questo notebook dimostra come configurare il modello per ottenere la probabilità di inferenza, selezionare i migliori N modelli ed eseguire Batch Transform su un set di test hold-out per la valutazione.

Questo notebook dimostra come incorporare e implementare codice di elaborazione dati personalizzato quando si utilizza Amazon SageMaker Autopilot. Aggiunge una fase di selezione delle funzionalità personalizzata per rimuovere le variabili irrilevanti da un lavoro Autopilot. Quindi mostra come implementare sia il codice di elaborazione personalizzato che i modelli generati da Autopilot su un endpoint in tempo reale e, in alternativa, per l'elaborazione in batch.

Altri notebook

Puoi trovare altri notebook che illustrano altri casi d'uso come la trasformazione in batch, la previsione delle serie temporali e altro ancora nella directory root.