View a markdown version of this page

GuardDuty Tipi di risultati sulla protezione AI - Amazon GuardDuty

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

GuardDuty Tipi di risultati sulla protezione AI

Quando abiliti AI Protection, GuardDuty analizza gli eventi di AWS CloudTrail gestione e gli eventi relativi ai dati da Amazon Bedrock e Amazon SageMaker AI. GuardDuty utilizza questi dati per rilevare attività potenzialmente sospette che colpiscono i tuoi carichi di lavoro di intelligenza artificiale. Quando GuardDuty rileva una potenziale minaccia, genera uno dei seguenti tipi di risultati. La Resource type causa di questi risultati è e AccessKey la scoperta identifica l'identità IAM che ha richiamato il modello.

Ogni risultato include anche dettagli sulle risorse di intelligenza artificiale interessate nell'resourceoggetto del risultato. Impact:IAMUser/CostHarvestingI risultati includono un resource.modelDetails elenco che identifica i modelli Amazon Bedrock o Amazon SageMaker AI richiamati. Impact:IAMUser/AnomalousModelInvocation La Impact:IAMUser/PromptInjection.Direct scoperta include un resource.bedrockGuardrailDetails oggetto che descrive l'Amazon Bedrock Guardrail che è intervenuto. Puoi visualizzare questi dettagli nella GuardDuty console o nel file JSON di ricerca.

I tipi Impact:IAMUser/AnomalousModelInvocation e Impact:IAMUser/CostHarvesting finding si applicano alle chiamate del modello Amazon Bedrock e Amazon SageMaker AI. Il tipo di Impact:IAMUser/PromptInjection.Direct risultato si applica ai carichi di lavoro Amazon Bedrock che utilizzano Amazon Bedrock Guardrails.

Impact:IAMUser/AnomalousModelInvocation

Un'identità IAM ha richiamato un modello Amazon Bedrock o Amazon SageMaker AI in un modo che si discosta dalla linea di base stabilita per l'identità o l'account.

Gravità predefinita: bassa

  • Caratteristica: protezione AI

Questo risultato indica che un'identità IAM ha richiamato un modello Amazon Bedrock o Amazon SageMaker AI in un modo che si discosta dall'attività storica dell'identità o dell'account. Questa attività potrebbe indicare che un autore della minaccia sta utilizzando credenziali compromesse per accedere ai modelli di base del tuo account. Ad esempio, l'attore potrebbe sondare un modello, creare input contraddittori o eseguire richieste automatiche.

GuardDuty stabilisce una linea di base della normale attività di invocazione del modello per ogni identità IAM e Account AWS richiama Amazon Bedrock o Amazon AI. SageMaker GuardDuty profila le caratteristiche dell'attività di invocazione, tra cui:

  • L'API di invocazione del modello chiamata dall'identità

  • Il modello richiamato dall'identità

  • L'indirizzo IP di origine e l'organizzazione ASN (Autonomous System Number) associata

  • L'agente utente che ha effettuato la richiesta

Quando GuardDuty osserva un'attività che si discosta in modo significativo da questa linea di base, genera questo risultato. Gli esempi includono le chiamate da un indirizzo IP mai visto in precedenza, da un agente utente invisibile in precedenza o da un modello che l'identità non ha mai richiamato. La scoperta include un resource.modelDetails elenco che identifica i modelli coinvolti nell'attività sospetta. Ogni voce contiene un modelId modello di base di Amazon Bedrock, un profilo di inferenza, un modello ARN fornito, personalizzato o importato, un endpoint Amazon Bedrock Marketplace, una risorsa prompt o un nome di endpoint Amazon AI. SageMaker

Questa scoperta si riferisce alla tecnica MITRE ATLAS AML.T0040 - AI Model Inference API Access sul sito web MITRE ATLAS.

Raccomandazioni per la correzione:

Se questa attività non è prevista, le credenziali potrebbero essere compromesse. Per ulteriori informazioni, consulta Correzione potenzialmente compromessa AWS credenziali.

Per ridurre il rischio di invocazioni non autorizzate dei modelli, limita le identità che possono richiamare i modelli. Consenti l'accesso alle seguenti API di invocazione dei modelli solo ai principali e ai modelli che le richiedono:

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Per negare l'inferenza dei modelli all'interno dell'organizzazione laddove non è necessaria, è possibile utilizzare una policy di controllo dei servizi (SCP). Per ulteriori informazioni, consulta esempi di Identity-based policy per Amazon Bedrock nella Amazon Bedrock User Guide e esempi di policy basate sull'identità di Amazon SageMaker AI nella Amazon AI Developer Guide. SageMaker

Impact:IAMUser/CostHarvesting

Un'identità IAM ha richiamato un modello Amazon Bedrock o Amazon SageMaker AI con volumi di token anomali che potrebbero indicare un attacco di raccolta dei costi.

Gravità predefinita: bassa

  • Caratteristica: protezione AI

Questo risultato indica che un'identità IAM ha richiamato un modello Amazon Bedrock o Amazon SageMaker AI con volumi di token di input o output che si discostano in modo significativo dalla linea di base dell'identità o dell'account. In un attacco di raccolta dei costi, un autore della minaccia invia input computazionalmente costosi a un modello per gonfiare i costi operativi del carico di lavoro dell'IA, senza necessariamente esfiltrare i dati. Questi input potrebbero includere istruzioni eccessivamente lunghe o volutamente malformate.

GuardDuty stabilisce una linea di base del volume medio dei token di input e del volume medio dei token di output per ogni identità e account IAM che richiama i modelli Amazon Bedrock o Amazon AI. SageMaker Quando GuardDuty osserva le invocazioni con un numero di token superiore a questa linea di base e correla l'anomalia del volume con altri segnali insoliti, genera questo risultato. GuardDuty Il risultato riporta l'attività anomala nell'service.detectionoggetto, incluse le chiamate osservate e i volumi di token che si sono discostati dalla linea di base. Include anche un elenco che identifica i modelli presi di miraresource.modelDetails. Ogni voce contiene un modelId modello di base di Amazon Bedrock, un profilo di inferenza, un modello ARN fornito, personalizzato o importato, un endpoint Amazon Bedrock Marketplace, una risorsa prompt o un nome di endpoint Amazon AI. SageMaker

Questa scoperta si riferisce alla tecnica AML.T0034 MITRE ATLAS - Cost Harvesting sul sito web MITRE ATLAS.

Raccomandazioni per la correzione:

Se questa attività è inaspettata per l'identità associata, le credenziali potrebbero essere state compromesse e utilizzate per aumentare il costo dei carichi di lavoro di intelligenza artificiale. Per ulteriori informazioni, consulta Correzione potenzialmente compromessa AWS credenziali. Esamina le chiamate al modello associate all'identità e limita l'accesso ai modelli interessati limitando l'accesso alle seguenti API di invocazione del modello solo ai principali che le richiedono:

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Per rilevare e contenere le spese anomale, puoi utilizzare AWS Budgets, comprese le azioni di budget che applicano una politica IAM restrittiva quando viene superata una soglia di budget, e il rilevamento delle anomalie nei costi.AWS Per attribuire i costi di Amazon Bedrock a carichi di lavoro specifici, puoi allegare tag di allocazione dei costi a un profilo di inferenza dell'applicazione.

Impact:IAMUser/PromptInjection.Direct

Un Amazon Bedrock Guardrail ha rilevato un tentativo di iniezione diretta in un'invocazione effettuata da un'identità IAM.

Gravità predefinita: bassa

  • Caratteristica: protezione AI

Questo risultato ti informa che un Amazon Bedrock Guardrail configurato per un carico di lavoro Amazon Bedrock nel tuo account ha rilevato un tentativo di iniezione diretta. In un attacco Direct Prompt Injection, un autore di una minaccia crea un prompt malevolo da utilizzare come input per un modello base. Il prompt fa sì che il modello ignori le istruzioni originali e segua invece le istruzioni dell'aggressore. L'iniezione tempestiva può consentire a un malintenzionato l'accesso iniziale per eseguire ulteriori azioni contro un'applicazione di intelligenza artificiale, come l'esfiltrazione di dati, la chiamata a strumenti non autorizzati o l'aggiramento dei controlli di sicurezza.

GuardDuty genera questo risultato quando un Amazon Bedrock Guardrail interviene su una chiamata perché ha rilevato un attacco tempestivo con elevata sicurezza. GuardDuty Per consentire il rilevamento dell'iniezione diretta dei prompt, configura un Amazon Bedrock Guardrail con un filtro dei contenuti per gli attacchi rapidi. Per garantire che il guardrail valuti le chiamate in tutto l'ambiente, applicalo su larga scala invece di affidarti a singole applicazioni per collegarlo a ciascuna richiesta. Puoi applicare un guardrail per tutte le chiamate del modello Amazon Bedrock in un account o in tutta l'organizzazione utilizzando le policy di Amazon Bedrock in. AWS OrganizationsPer ulteriori informazioni, consulta Applica le protezioni tra account con le imposizioni di Amazon Bedrock Guardrails nella Guida per l'utente di Amazon Bedrock. Quando un guardrail valuta una chiamata, Amazon Bedrock registra la valutazione AWS CloudTrail in data events, GuardDuty che analizza per generare questo risultato.

La scoperta include un resource.bedrockGuardrailDetails oggetto che descrive il guardrail che è intervenuto. La tabella seguente descrive i campi di questo oggetto.

Campo

Description

guardrails

Un elenco dei guardrail che hanno valutato l'invocazione. Ogni voce include l'Amazon Resource Name (arn) e version il guardrail. Possono apparire più guardrail quando sia un guardrail imposto dall'account o dall'organizzazione che un guardrail a livello di richiesta valutano la stessa invocazione.

guardrailAction

L'azione intrapresa dal guardrail. GuardDuty genera questo risultato quando il valore èGUARDRAIL_INTERVENED.

guardrailSource

Il contenuto valutato dal guardrail. INPUTindica un prompt inviato al modello e OUTPUT indica una risposta dal modello.

contentPolicyFilters

Un elenco dei filtri della politica dei contenuti applicati dal guardrail. Per questo tipo di ricerca, una voce ha un type di PROMPT_ATTACK e un confidence diHIGH. Lo action è BLOCKED se il guardrail ha bloccato il contenuto o NONE se ha rilevato l'attacco immediato ma è stato configurato solo per segnalarlo.

Questa scoperta si riferisce alla tecnica MITRE ATLAS AML.T0051 - LLM Prompt Injection sul sito web MITRE ATLAS.

Raccomandazioni per la correzione:

Esamina il prompt che ha attivato l'intervento sul guardrail e l'identità IAM che ha inviato il prompt. Se l'attività è imprevista per l'identità associata, le credenziali potrebbero essere state compromesse. Per ulteriori informazioni, consulta Correzione potenzialmente compromessa AWS credenziali. Se il guardrail ha rilevato ma non l'ha bloccato, prova a impostare l'azione del filtro Prompt Attack su Blocca anziché su Rileva, in modo che il guardrail blocchi il contenuto. Per ulteriori informazioni, consulta Opzioni per la gestione dei contenuti dannosi rilevati da Amazon Bedrock Guardrails nella Amazon Bedrock User Guide. Puoi anche limitare l'accesso alle API di chiamata di Amazon Bedrock per l'identità interessata.