Distribuzioni blu/verdi - Amazon SageMaker AI

Distribuzioni blu/verdi

Quando aggiorni il tuo endpoint, Amazon SageMaker AI utilizza automaticamente un’implementazione blu/verde per massimizzare la disponibilità degli endpoint. In un’implementazione blu/verde, SageMaker AI fornisce un nuovo parco con gli aggiornamenti (il parco verde). Quindi, SageMaker AI sposta il traffico dal parco precedente (blu) al parco verde. Una volta che il parco verde funziona senza intoppi per un determinato periodo di valutazione (chiamato periodo di incorporamento), SageMaker AI interrompe il parco blu. Con le funzionalità aggiuntive delle implementazioni blu/green, puoi utilizzare le modalità di spostamento del traffico e il monitoraggio automatico del rollback per proteggere l'endpoint da un impatto significativo sulla produzione.

L’elenco seguente descrive le funzionalità principali delle implementazioni blu/verdi in SageMaker AI:

  • Modalità di spostamento del traffico. Le modalità di spostamento del traffico per i guardrail di implementazione consentono di controllare il volume del traffico e il numero di fasi di spostamento del traffico tra il parco istanze blu e il parco istanze verde. Questa funzionalità ti dà la possibilità di valutare progressivamente le prestazioni del parco istanze verde senza impegnarti completamente a spostare il traffico al 100%.

  • Periodo di baking. Il periodo di baking è un periodo di tempo prestabilito per monitorare il parco istanze verde prima di passare alla fase di implementazione successiva. Se uno degli allarmi preimpostati scatta durante un periodo di baking, tutto il traffico degli endpoint torna al parco istanze blu. Il periodo di baking ti aiuta ad aumentare la fiducia nell'aggiornamento prima di rendere permanente il cambio di traffico.

  • Rollback automatici. Puoi specificare gli allarmi Amazon CloudWatch che SageMaker AI utilizza per monitorare il parco verde. Se un problema con il codice aggiornato fa scattare uno degli allarmi, SageMaker AI avvia un ripristino automatico del parco blu per mantenerne la disponibilità, riducendo così al minimo i rischi.

Modalità di spostamento del traffico

Le varie modalità di spostamento del traffico nelle implementazioni blu/verde offrono un controllo più granulare sullo spostamento del traffico tra il parco istanze blu e il parco istanze verde. Le modalità di spostamento del traffico disponibili per le implementazioni blu/verde sono tutti in una volta sola, canary e lineare. La seguente tabella mostra un confronto tra le opzioni.

Importante

Per le implementazioni blu/verde che prevedono periodi di spostamento o di interruzione del traffico in più fasi, ti verranno fatturati entrambi i parchi istanze per la durata dell'aggiornamento, indipendentemente dal traffico diretto al parco istanze. Ciò è in contrasto con le implementazioni blu/verdi, che prevedono lo spostamento del traffico tutto in una sola volta e l'assenza di periodi di baking, in cui ti viene fatturata un solo parco istanze nel corso dell'aggiornamento.

Nome Di cosa si tratta? Pro Contro Raccomandazione

Tutto contemporaneamente

Sposta tutto il traffico al nuovo parco istanze in un’unica fase.

Riduce al minimo la durata complessiva dell'aggiornamento.

Gli aggiornamenti regressivi influiscono sul 100% del traffico.

Utilizza questa opzione per ridurre al minimo i tempi e i costi di aggiornamento.

Canary

Il traffico viene spostato in due fasi. La prima fase (canary) sposta una piccola parte del traffico, seguita dalla seconda fase, che sposta il resto del traffico.

Limita il raggio d’azione degli aggiornamenti regressivi alo solo parco istanze canary.

Entrambe i parchi istanze sono operativi in parallelo per l'intera implementazione.

Utilizza questa opzione per trovare un equilibrio tra la riduzione al minimo del raggio d'azione degli aggiornamenti regressivi e la riduzione al minimo del tempo di operatività di due parchi istanze.

Linear (Lineare)

Una parte fissa del traffico si sposta in un numero prestabilito di fasi equidistanti.

Riduce al minimo il rischio di aggiornamenti regressivi spostando il traffico su più fasi.

La durata e il costo dell'aggiornamento sono proporzionali al numero di fasi.

Utilizza questa opzione per ridurre al minimo i rischi eseguendo la distribuzione su più fasi.

Inizia

Una volta specificata la configurazione di implementazione desiderata, SageMaker AI gestisce il provisioning di nuove istanze, la terminazione delle istanze precedenti e lo spostamento del traffico per tuo conto. Puoi creare e gestire la distribuzione tramite l'API e i comandi UpdateEndpoint e CreateEndpoint SageMaker esistenti e AWS Command Line Interface. Tieni presente che se l'endpoint utilizza una delle funzionalità elencate nella pagina Esclusioni, non puoi utilizzare i guardrail di distribuzione. Consulta le pagine di distribuzione individuali per maggiori dettagli su come configurare la distribuzione:

Per seguire esempi guidati che mostrano come utilizzare i guardrail di implementazione, guarda i nostri esempi di notebook Jupyter per le modalità di spostamento del traffico canary e lineare.