Implementazione di modelli di fondazione e di modelli ottimizzati con fine-tuning personalizzati - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione di modelli di fondazione e di modelli ottimizzati con fine-tuning personalizzati

Che tu stia implementando modelli open weight di base preformati o modelli gated di Amazon o i tuoi modelli personalizzati o SageMaker JumpStart ottimizzati archiviati in Amazon S3 FSx o SageMaker HyperPod Amazon, offre l'infrastruttura flessibile e scalabile di cui hai bisogno per i carichi di lavoro di inferenza di produzione.

Implementa modelli di base aperti e controllati da JumpStart Implementa modelli personalizzati e ottimizzati da Amazon S3 e Amazon FSx
Descrizione

Implementa da un catalogo completo di modelli di fondazione preaddestrati con policy di ottimizzazione e dimensionamento automatiche personalizzate per ogni famiglia di modelli.

Crea modelli personalizzati e ottimizzati e sfrutta l'infrastruttura aziendale per l'inferenza su scala di produzione. SageMaker HyperPod Scegli tra uno storage conveniente con Amazon S3 o un file system ad alte prestazioni con Amazon. FSx
Vantaggi principali
  • Distribuzione con un solo clic tramite l'interfaccia utente di Amazon SageMaker Studio

  • Il dimensionamento automatico basato sulle richieste in arrivo è abilitato automaticamente

  • Container e configurazioni preottimizzati per ogni famiglia di modelli

  • Gestione dell’EULA per i modelli gated

  • Supporto per più backend di storage: Amazon S3, Amazon FSx

  • Supporto flessibile per container e framework

  • Policy di dimensionamento personalizzate in base alle caratteristiche del modello

Opzioni di implementazione
  • Amazon SageMaker Studio per la distribuzione visiva

  • kubectl per le operazioni native di Kubernetes

  • Python SDK per l’integrazione programmatica

  • HyperPod CLI per l'automazione da riga di comando

  • kubectl per le operazioni native di Kubernetes

  • Python SDK per l’integrazione programmatica

  • HyperPod CLI per l'automazione da riga di comando

Le seguenti sezioni illustrano la distribuzione di modelli da Amazon SageMaker JumpStart e da Amazon S3 e Amazon. FSx