View a markdown version of this page

GuardDuty Tipos de búsqueda de protección de IA - Amazon GuardDuty

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

GuardDuty Tipos de búsqueda de protección de IA

Cuando habilita la protección de IA, GuardDuty analiza los eventos AWS CloudTrail de administración y los eventos de datos de Amazon Bedrock y Amazon SageMaker AI. GuardDuty utiliza estos datos para detectar actividades potencialmente sospechosas dirigidas a sus cargas de trabajo de IA. Cuando GuardDuty detecta una amenaza potencial, genera uno de los siguientes tipos de detección. El Resource type valor de estos hallazgos esAccessKey, y el hallazgo identifica, la identidad de IAM que invocó el modelo.

Cada hallazgo también incluye detalles sobre los recursos de IA afectados en el resource objeto del hallazgo. Impact:IAMUser/CostHarvestingLos hallazgos Impact:IAMUser/AnomalousModelInvocation y hallazgos incluyen una resource.modelDetails lista que identifica los modelos Amazon Bedrock o Amazon SageMaker AI invocados. El Impact:IAMUser/PromptInjection.Direct hallazgo incluye un resource.bedrockGuardrailDetails objeto que describe la barandilla Amazon Bedrock Guardrail que intervino. Puede ver estos detalles en la GuardDuty consola o en el JSON de búsqueda.

Los tipos de Impact:IAMUser/CostHarvesting búsqueda Impact:IAMUser/AnomalousModelInvocation y búsqueda se aplican a las invocaciones de modelos Amazon Bedrock y Amazon SageMaker AI. El tipo de Impact:IAMUser/PromptInjection.Direct hallazgo se aplica a las cargas de trabajo de Amazon Bedrock que utilizan Amazon Bedrock Guardrails.

Impact:IAMUser/AnomalousModelInvocation

Una identidad de IAM invocó un modelo de Amazon Bedrock o Amazon SageMaker AI de una manera que se desvió de la línea base establecida para la identidad o la cuenta.

Gravedad predeterminada: baja

  • Característica: Protección de IA

Este hallazgo le informa de que una identidad de IAM invocó un modelo de Amazon Bedrock o Amazon SageMaker AI de una manera que se desvía de la actividad histórica de la identidad o la cuenta. Esta actividad podría indicar que un agente de amenazas está utilizando credenciales comprometidas para acceder a los modelos básicos de su cuenta. Por ejemplo, el actor podría investigar un modelo, elaborar datos contradictorios o ejecutar solicitudes automatizadas.

GuardDuty establece una línea base de la actividad normal de invocación de modelos para cada identidad de IAM y Cuenta de AWS que invoca Amazon Bedrock o SageMaker Amazon AI. GuardDuty describe las características de la actividad de invocación, incluidas las siguientes:

  • La API de invocación del modelo a la que llamó la identidad

  • El modelo que invocó la identidad

  • La dirección IP de origen y su organización asociada con el número de sistema autónomo (ASN)

  • El agente de usuario que realizó la solicitud

Cuando se GuardDuty observa una actividad que se desvía significativamente de esta línea de base, se genera este resultado. Los ejemplos incluyen las invocaciones desde una dirección IP nunca antes vista, un agente de usuario nunca antes visto o un modelo que la identidad nunca haya invocado. El hallazgo incluye una resource.modelDetails lista en la que se identifican los modelos involucrados en la actividad sospechosa. Cada entrada contiene una modelId representación de un modelo básico de Amazon Bedrock, un perfil de inferencia, un ARN de modelo aprovisionado, personalizado o importado, un punto de conexión de Amazon Bedrock Marketplace, un recurso rápido o un nombre de punto de enlace de Amazon AI. SageMaker

Este hallazgo se corresponde con la técnica MITRE ATLAS AML.T0040 : acceso a la API de inferencia de modelos de IA en el sitio web de MITRE ATLAS.

Recomendaciones de corrección:

Si esta actividad es inesperada, sus credenciales pueden verse afectadas. Para obtener más información, consulte Solución que podría estar comprometida AWS credentials.

Para reducir el riesgo de invocaciones de modelos no autorizadas, restrinja las identidades que pueden invocar modelos. Limite el acceso a las siguientes API de invocación de modelos únicamente a los principales y los modelos que las requieran:

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Para denegar la inferencia de modelos en su organización cuando no sea necesaria, puede usar una política de control de servicios (SCP). Para obtener más información, consulte los ejemplos de Identity-based políticas de Amazon Bedrock en la Guía del usuario de Amazon Bedrock y los ejemplos de políticas basadas en la identidad de Amazon SageMaker AI en la Guía para desarrolladores de Amazon SageMaker AI.

Impact:IAMUser/CostHarvesting

Una identidad de IAM invocaba un modelo de Amazon Bedrock o Amazon SageMaker AI con volúmenes de token anómalos que podían indicar un ataque de recolección de costes.

Gravedad predeterminada: baja

  • Característica: Protección de IA

Este hallazgo le informa de que una identidad de IAM invocó un modelo de Amazon Bedrock o Amazon SageMaker AI con volúmenes de token de entrada o salida que se desvían significativamente de la línea base de la identidad o la cuenta. En un ataque de recolección de costes, un agente de amenazas envía datos costosos desde el punto de vista computacional a un modelo para aumentar los costos operativos de la carga de trabajo de la IA, sin necesidad de filtrar datos. Estas entradas pueden incluir indicaciones excesivamente largas o con un formato incorrecto deliberado.

GuardDuty establece una línea base del volumen medio de los tokens de entrada y el volumen medio de los tokens de salida para cada identidad y cuenta de IAM que invoque los modelos Amazon Bedrock o Amazon SageMaker AI. Cuando GuardDuty observa invocaciones con recuentos de tokens que superan este valor de referencia y correlaciona la anomalía del volumen con otras señales inusuales, se obtiene este resultado. GuardDuty El hallazgo indica la actividad anómala en el service.detection objeto, incluida la invocación observada y los volúmenes de los tokens que se desviaron de la línea base. También incluye una resource.modelDetails lista que identifica los modelos objetivo. Cada entrada contiene una modelId representación de un modelo básico de Amazon Bedrock, un perfil de inferencia, un ARN de modelo aprovisionado, personalizado o importado, un punto de conexión de Amazon Bedrock Marketplace, un recurso rápido o un nombre de punto de enlace de Amazon AI. SageMaker

Este hallazgo se corresponde con la técnica MITRE ATLAS (Cost Harvesting) que aparece en el sitio AML.T0034 web de MITRE ATLAS.

Recomendaciones de corrección:

Si esta actividad es inesperada para la identidad asociada, es posible que las credenciales se hayan visto comprometidas y se hayan utilizado para aumentar el coste de las cargas de trabajo de IA. Para obtener más información, consulte Solución que podría estar comprometida AWS credentials. Revisa las invocaciones de modelos asociadas a la identidad y restringe el acceso a los modelos afectados limitando el acceso a las siguientes API de invocación de modelos solo a las entidades principales que las requieran:

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Para detectar y contener un gasto anormal, puede utilizar AWS los presupuestos, que incluyen las acciones presupuestarias que aplican una política de IAM restrictiva cuando se supera un umbral presupuestario, y la detección de anomalías de costes.AWS Para atribuir los costos de Amazon Bedrock a cargas de trabajo específicas, puede adjuntar etiquetas de asignación de costos a un perfil de inferencia de aplicaciones.

Impact:IAMUser/PromptInjection.Direct

Un Amazon Bedrock Guardrail detectó un intento de inyección inmediata directa en una invocación realizada por una identidad de IAM.

Gravedad predeterminada: baja

  • Característica: Protección de IA

Este hallazgo le informa de que una barandilla de Amazon Bedrock configurada para una carga de trabajo de Amazon Bedrock en su cuenta detectó un intento de inyección inmediata directa. En un ataque de inyección inmediata directa, un agente de amenazas crea un mensaje malicioso como entrada a un modelo básico. El mensaje hace que el modelo ignore sus instrucciones originales y, en su lugar, siga las instrucciones del atacante. La inyección inmediata puede dar al atacante un acceso inicial para tomar medidas adicionales contra una aplicación de IA, como filtrar datos, utilizar herramientas no autorizadas o saltarse los controles de seguridad.

GuardDuty genera este hallazgo cuando una barandilla de Amazon Bedrock interviene en una invocación porque detectó un ataque rápido con mucha confianza. GuardDuty Para permitir la detección de una inyección inmediata directa, configure una barandilla Amazon Bedrock con un filtro de contenido de ataques rápidos. Para garantizar que el guardrail evalúe las invocaciones en todo su entorno, aplíquelo de forma amplia en lugar de depender de aplicaciones individuales para adjuntarlo a cada solicitud. Puede aplicar una barrera de protección para todas las invocaciones del modelo Amazon Bedrock en una cuenta o en toda su organización mediante las políticas de Amazon Bedrock en. AWS Organizations Para obtener más información, consulte Aplicar protecciones entre cuentas con las medidas de cumplimiento de Amazon Bedrock Guardrails en la Guía del usuario de Amazon Bedrock. Cuando una barandilla evalúa una invocación, Amazon Bedrock registra la evaluación AWS CloudTrail en eventos de datos, GuardDuty que se analizan para generar este hallazgo.

El hallazgo incluye un resource.bedrockGuardrailDetails objeto que describe la barandilla que intervino. En la siguiente tabla se describen los campos de este objeto.

Campo

Description (Descripción)

guardrails

Una lista de las barandillas que evaluaron la invocación. Cada entrada incluye el nombre del recurso de Amazon (arn) y el version de la barandilla. Pueden aparecer varias barandillas cuando una barandilla impuesta por la cuenta o por la organización y una barandilla a nivel de solicitud evalúan la misma invocación.

guardrailAction

La acción que realizó la barandilla. GuardDuty genera este hallazgo cuando el valor es. GUARDRAIL_INTERVENED

guardrailSource

El contenido que evaluó la barandilla. INPUTindica un mensaje enviado al modelo e OUTPUT indica una respuesta del modelo.

contentPolicyFilters

Una lista de los filtros de política de contenido que ha aplicado la barandilla. Para este tipo de búsqueda, una entrada tiene un type de PROMPT_ATTACK y un confidence de. HIGH actionEs decir, BLOCKED si la barandilla bloqueó el contenido o NONE si la barandilla detectó el ataque inmediato pero se configuró únicamente para denunciarlo.

Este hallazgo corresponde a la técnica MITRE ATLAS (LLM Prompt Injection AML.T0051 ) publicada en el sitio web de MITRE ATLAS.

Recomendaciones de corrección:

Revise el mensaje que provocó la intervención de la barandilla y la identidad del IAM que envió el mensaje. Si la actividad es inesperada para la identidad asociada, es posible que las credenciales se hayan visto comprometidas. Para obtener más información, consulte Solución que podría estar comprometida AWS credentials. Si la barandilla detectó el ataque inmediato pero no lo bloqueó, considere la posibilidad de configurar la acción del filtro de contenido del ataque rápido en Bloquear en lugar de Detectar, de modo que la barandilla bloquee el contenido. Para obtener más información, consulte Opciones para gestionar el contenido dañino detectado por Amazon Bedrock Guardrails en la Guía del usuario de Amazon Bedrock. También puede restringir el acceso a las API de invocación de Amazon Bedrock para la identidad afectada.