Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Panoramica delle app Amazon SageMaker Partner AI
Con Amazon SageMaker Partner AI Apps, gli utenti hanno accesso ad applicazioni di sviluppo generative di intelligenza artificiale e machine learning (ML) create, pubblicate e distribuite da fornitori di applicazioni leader del settore. Le app Partner AI sono certificate per funzionare sull'intelligenza artificiale. SageMaker Con le Partner AI Apps, gli utenti possono accelerare e migliorare il modo in cui creano soluzioni basate su modelli di fondazione (FM) e modelli di ML classici senza compromettere la sicurezza dei dati sensibili. I dati rimangono totalmente all’interno della configurazione di sicurezza attendibile e non vengono mai condivisi con terze parti.
Come funziona
Le Partner AI Apps sono uno stack di applicazioni completo che include un cluster Amazon Elastic Kubernetes Service e un array di servizi accessori, tra cui Application Load Balancer, Amazon Relational Database Service, bucket Amazon Simple Storage Service, code Amazon Simple Queue Service e cache Redis.
Queste applicazioni di servizio possono essere condivise tra tutti gli utenti di un dominio SageMaker AI e vengono fornite da un amministratore. Dopo aver fornito l'applicazione acquistando un abbonamento tramite Marketplace AWS, l'amministratore può concedere agli utenti del dominio SageMaker AI le autorizzazioni per accedere all'app Partner AI direttamente da Amazon SageMaker Studio, Amazon SageMaker Unified Studio (anteprima) o utilizzando un URL prefirmato. Per informazioni sull’avvio di un’applicazione da Studio, consulta Avvia Amazon SageMaker Studio.
La funzionalità Partner AI Apps offre i vantaggi seguenti ad amministratori e utenti.
-
Gli amministratori utilizzano la console SageMaker AI per sfogliare, scoprire, selezionare e fornire le app Partner AI per l'utilizzo da parte dei loro team di data science e ML. Dopo l'implementazione delle app Partner SageMaker AI, l'IA le esegue in modalità gestita dal servizio. Account AWS Questo riduce in modo significativo il sovraccarico operativo associato alla creazione e al funzionamento di queste applicazioni e contribuisce alla sicurezza e alla privacy dei dati dei clienti.
-
I data scientist e gli sviluppatori di machine learning possono accedere alle app Partner AI dall'interno del loro ambiente di sviluppo ML in Amazon SageMaker Studio o Amazon SageMaker Unified Studio (anteprima). Possono utilizzare le app Partner AI per analizzare i dati, gli esperimenti e i modelli creati sull' SageMaker intelligenza artificiale. Questo riduce al minimo il cambio di contesto e aiuta ad accelerare la creazione di modelli di fondazione e l’introduzione sul mercato di nuove funzionalità di IA generativa.
Integrazione con Servizi AWS
Partner AI Apps utilizza la configurazione esistente AWS Identity and Access Management (IAM) per l'autorizzazione e l'autenticazione. Di conseguenza, gli utenti non devono fornire credenziali separate per accedere a ciascuna app Partner AI di Amazon SageMaker Studio. Per ulteriori informazioni sull’autorizzazione e l’autenticazione con Partner AI Apps, consulta Configurazione delle Partner AI Apps.
Partner AI Apps si integra anche con Amazon CloudWatch per fornire monitoraggio e gestione operativi. Dalla Console di gestione AWS, i clienti possono anche sfogliare e ottenere informazioni sulle Partner AI Apps, ad esempio relativamente a funzionalità, esperienza del cliente e prezzi. Per informazioni su Amazon CloudWatch, consulta How Amazon CloudWatch works.
Le applicazioni di intelligenza artificiale dei partner come Deepchecks supportano l'integrazione con Amazon Bedrock per abilitare funzionalità di valutazione basate su LLM come valutazioni «LLM as a judge» e funzionalità di annotazione automatizzata. Quando l'integrazione con Amazon Bedrock è abilitata, l'app Partner AI utilizza il tuo account Amazon Bedrock gestito dal cliente per accedere ai modelli di base, assicurando che i tuoi dati rimangano all'interno della tua configurazione di sicurezza affidabile. Per ulteriori informazioni sulla configurazione dell'integrazione con Amazon Bedrock, consulta. Configurazione dell'integrazione con Amazon Bedrock
Tipi supportati
Partner AI Apps supporta i tipi seguenti:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Quando l’amministratore avvia una Partner AI App, deve selezionare la configurazione del cluster di istanze con cui viene avviata la Partner AI App. Questa configurazione è nota come livello della Partner AI App. Il livello di una Partner AI App può corrispondere a uno dei seguenti valori:
-
small -
medium -
large
Le sezioni seguenti forniscono informazioni su ciascuno dei tipi di Partner AI App e sui valori dei livelli della Partner AI App.
Cometfornisce una piattaforma di valutazione dei end-to-end modelli per gli sviluppatori di intelligenza artificiale, con valutazioni LLM, tracciamento degli esperimenti e monitoraggio della produzione.
Consigliamo i seguenti livelli della Partner AI App in base al carico di lavoro:
-
small: consigliato per un massimo di 5 utenti e 20 processi in esecuzione. -
medium: consigliato per un massimo di 50 utenti e 100 processi in esecuzione. -
large: consigliato per un massimo di 500 utenti e più di 100 processi in esecuzione.
Nota
SageMaker L'intelligenza artificiale non supporta la visualizzazione dell'Cometinterfaccia utente come parte dell'output di un notebook Jupyter.
Gli sviluppatori di applicazioni di IA e le parti interessate possono utilizzare Deepchecks per convalidare continuamente le applicazioni basate su LLM, comprese le caratteristiche, le metriche delle prestazioni e i potenziali difetti durante l’intero ciclo di vita, dalla pre-implementazione alla sperimentazione interna fino alla produzione.
Consigliamo i seguenti livelli della Partner AI App in base alla velocità desiderata per il carico di lavoro:
-
small: elabora 200 token al secondo. -
medium: elabora 500 token al secondo. -
large: elabora 1300 token al secondo.
La piattaforma di osservabilità IA di Fiddler facilita la convalida, il monitoraggio e l’analisi dei modelli di ML in produzione, inclusi i modelli tabulari, di deep learning, di visione artificiale e di elaborazione del linguaggio naturale.
Consigliamo i seguenti livelli della Partner AI App in base alla velocità desiderata per il carico di lavoro:
-
small: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 20 iterazioni richiede circa 53 minuti. -
medium: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 20 iterazioni richiede circa 23 minuti. -
large: l’elaborazione di 10 milioni di eventi in 5 modelli, 100 funzionalità e 100 iterazioni richiede circa 27 minuti.
Lakera Guard è un firewall per applicazioni di IA a bassa latenza per proteggere le applicazioni di IA generativa dalle minacce specifiche dell’IA generativa.
Consigliamo i seguenti livelli della Partner AI App in base al carico di lavoro:
-
small— Consigliato per un massimo di 20 automazioni di processo robotiche (). RPAs -
medium— Consigliato per un massimo di 100 persone. RPAs -
large— Consigliato per un massimo di 200 persone RPAs.
