Opzioni di implementazione dei modelli in Amazon SageMaker AI
Dopo aver addestrato il tuo modello di machine learning, puoi implementarlo utilizzando Amazon SageMaker AI per effettuare previsioni. Amazon SageMaker AI supporta i seguenti modi per implementare un modello, a seconda del caso d’uso:
-
Per endpoint persistenti e in tempo reale che effettuano una previsione alla volta, utilizza i servizi di hosting in tempo reale SageMaker AI. Consultare Inferenza in tempo reale.
-
I carichi di lavoro che presentano periodi di inattività tra picchi di traffico e possono tollerare avvii a freddo utilizzano Inferenza serverless. Consultare Distribuire modelli con Inferenza serverless Amazon SageMaker.
-
Le richieste con carichi di lavoro di grandi dimensioni fino a 1 GB, lunghi tempi di elaborazione e requisiti di latenza quasi in tempo reale, utilizzano Inferenza asincrona Amazon SageMaker. Consultare Inferenza asincrona.
-
Per ottenere previsioni per un intero set di dati, utilizza la trasformazione in batch di SageMaker AI. Consultare Trasformazione in batch per l’inferenza con Amazon SageMaker AI.
SageMaker AI fornisce anche funzionalità per la gestione delle risorse e l’ottimizzazione delle prestazioni di inferenza durante l’implementazione di modelli di machine learning:
-
Per gestire modelli su dispositivi edge in modo da ottimizzare, proteggere, monitorare e mantenere modelli di machine learning su parchi di dispositivi edge, consulta Implementazione di modelli in posizione edge con SageMaker Edge Manager. Questo vale per i dispositivi edge come fotocamere intelligenti, robot, personal computer e dispositivi mobili.
-
Per ottimizzare i modelli Gluon, Keras, MXNet, PyTorch, TensorFlow, Tensorflow-Lite e ONNX per l'inferenza su macchine Android, Linux e Windows basate su processori Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments e Xilinx, consulta Ottimizzazione delle prestazioni dei modelli con SageMaker Neo.
Per ulteriori informazioni su tutte le opzioni di implementazione, consulta Implementa modelli per l'inferenza.
