Aggiornare gli endpoint che utilizzano il dimensionamento automatico - Amazon SageMaker AI

Aggiornare gli endpoint che utilizzano il dimensionamento automatico

Quando aggiorni un endpoint, Application Auto Scaling verifica se uno qualsiasi dei modelli su tale endpoint è una destinazione per il dimensionamento automatico. Se l’aggiornamento modifica il tipo di istanza per qualsiasi modello che è una destinazione per il dimensionamento automatico, l’aggiornamento non va a buon fine.

Nella Console di gestione AWS, viene visualizzata un’avvertenza con la richiesta di annullare la registrazione del modello dal dimensionamento automatico prima di poter eseguire l’aggiornamento. Se stai tentando di aggiornare l’endpoint chiamando l’API UpdateEndpoint, la chiamata non va a buon fine. Prima di aggiornare l’endpoint, elimina qualsiasi policy di dimensionamento configurata e annulla la registrazione della variante come destinazione scalabile chiamando l’azione DeregisterScalableTarget dell’API Application Auto Scaling. Dopo aver aggiornato l’endpoint, puoi registrare la variante aggiornata come destinazione scalabile e collegare una policy di dimensionamento.

Esiste tuttavia un'eccezione. Se modifichi il modello per una variante configurata per il dimensionamento automatico, il dimensionamento automatico di Amazon SageMaker AI consente l’aggiornamento. Ciò avviene perché la modifica del modello, di solito, non incide abbastanza sulle prestazioni da giustificare un cambiamento nel comportamento di dimensionamento. Se aggiorni un modello per una variante configurata per il dimensionamento automatico, assicurati che la modifica al modello non influenzi significativamente le prestazioni e il comportamento di dimensionamento.

Quando aggiorni gli endpoint SageMaker AI in cui è applicato il dimensionamento automatico, segui questa procedura:

Per aggiornare un endpoint con dimensionamento automatico applicato

  1. Annullare la registrazione dell'endpoint come un obiettivo scalabile chiamando DeregisterScalableTarget.

  2. Poiché il dimensionamento automatico è bloccato mentre l’operazione di aggiornamento è in corso (o se è stato disattivato il dimensionamento automatico nella fase precedente), è possibile adottare la precauzione aggiuntiva di aumentare il numero di istanze per l’endpoint durante l’aggiornamento. A questo scopo, aggiorna i conteggi delle istanze per le varianti di produzione ospitate a livello di endpoint chiamando UpdateEndpointWeightsAndCapacities.

  3. Chiama ripetutamente DescribeEndpoint finché il valore del campo EndpointStatus della risposta non è InService.

  4. Chiama DescribeEndpointConfig per ottenere i valori della configurazione di endpoint corrente.

  5. Crea una nuova configurazione dell’endpoint chiamando CreateEndpointConfig. Per le varianti di produzione in cui mantenere il conteggio o il peso delle istanze esistenti, utilizza lo stesso nome della variante presente nella risposta alla chiamata DescribeEndpointConfig nella fase precedente. Per tutti gli altri valori, utilizza i valori ottenuti come risposta alla chiamata DescribeEndpointConfig nella fase precedente.

  6. Aggiorna l’endpoint chiamando UpdateEndpoint. Specifica la configurazione dell'endpoint creata nella fase precedente come il campo EndpointConfig. Se si desidera mantenere le proprietà di variante come il conteggio delle istanze o il peso, impostare il valore del parametro RetainAllVariantProperties su True. Specifica che le varianti di produzione con lo stesso nome verranno aggiornate con il DesiredInstanceCount più recente dalla risposta dalla chiamata a DescribeEndpoint, indipendentemente dai valori del campo InitialInstanceCount nel nuovo EndpointConfig.

  7. (Facoltativo) Abilita nuovamente il dimensionamento automatico chiamando RegisterScalableTarget e PutScalingPolicy.

Nota

Le fasi 1 e 7 sono necessarie solo se stai aggiornando un endpoint con le seguenti modifiche:

  • Modifica del tipo di istanza per una variante di produzione con dimensionamento automatico configurato

  • Rimozione di una variante di produzione con dimensionamento automatico configurato.