View a markdown version of this page

GuardDuty Types de détection de protection contre l'IA - Amazon GuardDuty

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

GuardDuty Types de détection de protection contre l'IA

Lorsque vous activez AI Protection, GuardDuty analyse les événements de AWS CloudTrail gestion et les événements de données provenant d'Amazon Bedrock et d'Amazon SageMaker AI. GuardDuty utilise ces données pour détecter les activités potentiellement suspectes qui ciblent vos charges de travail d'IA. Lorsqu'il GuardDuty détecte une menace potentielle, il génère l'un des types de détection suivants. La Resource type raison de ces résultats estAccessKey, et la découverte identifie l'identité IAM qui a invoqué le modèle.

Chaque découverte inclut également des détails sur les ressources d'IA affectées dans l'resourceobjet de la découverte. Impact:IAMUser/CostHarvestingLes résultats incluent une resource.modelDetails liste qui identifie les modèles Amazon Bedrock ou Amazon SageMaker AI invoqués. Impact:IAMUser/AnomalousModelInvocation La Impact:IAMUser/PromptInjection.Direct découverte inclut un resource.bedrockGuardrailDetails objet qui décrit le garde-corps Amazon Bedrock qui est intervenu. Vous pouvez consulter ces informations dans la GuardDuty console ou dans le JSON de recherche.

Les types de Impact:IAMUser/CostHarvesting recherche Impact:IAMUser/AnomalousModelInvocation et s'appliquent à la fois aux invocations de modèles Amazon Bedrock et Amazon SageMaker AI. Le type de Impact:IAMUser/PromptInjection.Direct recherche s'applique aux charges de travail Amazon Bedrock qui utilisent Amazon Bedrock Guardrails.

Impact:IAMUser/AnomalousModelInvocation

Une identité IAM a invoqué un modèle Amazon Bedrock ou Amazon SageMaker AI d'une manière différente de la référence établie pour l'identité ou le compte.

Gravité par défaut : faible

  • Fonctionnalité : Protection contre l'IA

Cette découverte vous indique qu'une identité IAM a invoqué un modèle Amazon Bedrock ou Amazon SageMaker AI d'une manière différente de l'activité historique de l'identité ou du compte. Cette activité peut indiquer qu'un acteur malveillant utilise des informations d'identification compromises pour accéder aux modèles de base de votre compte. Par exemple, l'acteur peut sonder un modèle, créer des entrées contradictoires ou exécuter des requêtes automatisées.

GuardDuty établit une base de référence pour l'activité d'invocation normale des modèles pour chaque identité IAM et Compte AWS qui invoque Amazon Bedrock ou Amazon AI. SageMaker GuardDuty présente les caractéristiques de l'activité d'invocation, notamment les suivantes :

  • L'API d'invocation du modèle que l'identité a appelée

  • Le modèle invoqué par l'identité

  • L'adresse IP source et son organisation ASN (Autonomous System Number) associée

  • L'agent utilisateur qui a effectué la demande

Lorsqu'une GuardDuty activité observée s'écarte de manière significative de cette base de référence, elle génère ce résultat. Les exemples incluent les appels à partir d'une adresse IP inédite, d'un agent utilisateur invisible ou d'un modèle que l'identité n'a jamais invoqué. La découverte comprend une resource.modelDetails liste identifiant les modèles impliqués dans l'activité suspecte. Chaque entrée contient un modelId modèle de base Amazon Bedrock, un profil d'inférence, un ARN de modèle provisionné, personnalisé ou importé, un point de terminaison Amazon Bedrock Marketplace, une ressource rapide ou le nom du point de terminaison Amazon SageMaker AI.

Cette découverte correspond à la technique MITRE ATLAS AML.T0040 - Accès à l'API d'inférence de modèles d'IA sur le site Web de MITRE ATLAS.

Recommandations de correction :

Si cette activité est inattendue, vos informations d'identification peuvent être compromises. Pour de plus amples informations, veuillez consulter Remédier aux failles potentiellement compromises AWS informations d’identification.

Pour réduire le risque d'invocations de modèles non autorisées, limitez les identités qui peuvent invoquer des modèles. Étendez l'accès aux API d'appel de modèles suivantes uniquement aux principaux et aux modèles qui en ont besoin :

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Pour empêcher l'inférence de modèles dans votre organisation lorsqu'elle n'est pas nécessaire, vous pouvez utiliser une politique de contrôle des services (SCP). Pour plus d'informations, consultez des exemples de Identity-based politiques pour Amazon Bedrock dans le guide de l'utilisateur Amazon Bedrock et des exemples de politiques basées sur l'identité Amazon SageMaker AI dans le guide du développeur Amazon SageMaker AI.

Impact:IAMUser/CostHarvesting

Une identité IAM a invoqué un modèle Amazon Bedrock ou Amazon SageMaker AI avec des volumes de jetons anormaux susceptibles d'indiquer une attaque de collecte de coûts.

Gravité par défaut : faible

  • Fonctionnalité : Protection contre l'IA

Cette découverte vous indique qu'une identité IAM a invoqué un modèle Amazon Bedrock ou Amazon SageMaker AI avec des volumes de jetons d'entrée ou de sortie qui s'écartent considérablement de la base de référence pour l'identité ou le compte. Lors d’une attaque de collecte des coûts, un acteur malveillant envoie des entrées coûteuses en matière de calcul à un modèle afin d’augmenter les coûts d’exploitation de la charge de travail liée à l’IA, sans nécessairement exfiltrer les données. Ces entrées peuvent comprendre des invites trop longues ou délibérément mal formées.

GuardDuty établit une base de référence pour le volume moyen de jetons d'entrée et le volume moyen de jetons de sortie pour chaque identité et chaque compte IAM qui invoquent les modèles Amazon Bedrock ou Amazon SageMaker AI. Lorsque GuardDuty observe des appels dont le nombre de jetons dépasse cette ligne de base et met en corrélation l'anomalie de volume avec d'autres signaux inhabituels, GuardDuty génère ce résultat. La découverte indique l'activité anormale de l'service.detectionobjet, y compris l'invocation observée et les volumes de jetons qui s'écartaient de la ligne de base. Il comprend également une resource.modelDetails liste identifiant les modèles ciblés. Chaque entrée contient un modelId modèle de base Amazon Bedrock, un profil d'inférence, un ARN de modèle provisionné, personnalisé ou importé, un point de terminaison Amazon Bedrock Marketplace, une ressource rapide ou le nom du point de terminaison Amazon SageMaker AI.

Cette découverte correspond à la technique MITRE ATLAS AML.T0034 - Cost Harvesting sur le site Web de MITRE ATLAS.

Recommandations de correction :

Si cette activité est inattendue pour l'identité associée, les informations d'identification ont peut-être été compromises et utilisées pour augmenter le coût de vos charges de travail d'IA. Pour de plus amples informations, veuillez consulter Remédier aux failles potentiellement compromises AWS informations d’identification. Passez en revue les appels de modèles associés à l'identité et limitez l'accès aux modèles concernés en limitant l'accès aux API d'appel de modèles suivantes aux seuls mandants qui en ont besoin :

  • bedrock:InvokeModel

  • bedrock:InvokeModelWithResponseStream

  • bedrock:Converse

  • bedrock:ConverseStream

  • bedrock-mantle:CreateInference

  • sagemaker:InvokeEndpoint

  • sagemaker:InvokeEndpointAsync

  • sagemaker:InvokeEndpointWithResponseStream

Pour détecter et contenir les dépenses anormales, vous pouvez utiliser AWS les budgets, y compris les actions budgétaires qui appliquent une politique IAM restrictive lorsqu'un seuil budgétaire est dépassé, et la détection des anomalies de AWS coûts. Pour attribuer les coûts Amazon Bedrock à des charges de travail spécifiques, vous pouvez associer des balises de répartition des coûts à un profil d'inférence d'application.

Impact:IAMUser/PromptInjection.Direct

Une barrière de protection Amazon Bedrock a détecté une tentative d’injection d’invite directe lors d’une invocation effectuée par une identité IAM.

Gravité par défaut : faible

  • Fonctionnalité : Protection contre l'IA

Ce résultat vous indique qu’une barrière de protection Amazon Bedrock configurée pour une charge de travail Amazon Bedrock sur votre compte a détecté une tentative d’injection d’invite directe. Dans le cadre d'une attaque par injection directe, un acteur de la menace crée une invite malveillante en tant qu'entrée dans un modèle de base. L'invite oblige le modèle à ignorer ses instructions d'origine et à suivre les instructions de l'attaquant à la place. L’injection d’invite peut donner à un attaquant un accès initial lui permettant de prendre des mesures supplémentaires contre une application d’IA, comme l’exfiltration de données, l’appel à des outils non autorisés ou le contournement des contrôles de sécurité.

GuardDuty génère ce résultat lorsqu'un Amazon Bedrock Guardrail intervient lors d'une invocation car il a détecté une attaque rapide avec un niveau de confiance élevé. GuardDuty Pour permettre de détecter l'injection directe et rapide, configurez un Amazon Bedrock Guardrail avec un filtre de contenu d'attaque rapide. Pour vous assurer que le garde-fou évalue les appels dans votre environnement, appliquez-le de manière générale au lieu de vous fier à des applications individuelles pour les joindre à chaque demande. Vous pouvez appliquer une protection pour toutes les invocations du modèle Amazon Bedrock dans un compte ou au sein de votre organisation en utilisant les politiques Amazon Bedrock dans. AWS Organizations Pour plus d'informations, consultez la section Appliquer des mesures de protection entre comptes dans le cadre des mesures d'application d'Amazon Bedrock Guardrails dans le guide de l'utilisateur d'Amazon Bedrock. Lorsqu'un garde-corps évalue une invocation, Amazon Bedrock enregistre l'évaluation dans des événements de AWS CloudTrail données, qui les GuardDuty analyse pour générer ce résultat. Si le garde-fou a également appliqué un filtre d'informations sensibles lors de l'évaluation de l'invocation, le résultat inclut des détails sur le type d'informations sensibles détectées.

Le résultat comprend un objet resource.bedrockGuardrailDetails qui décrit la barrière de protection qui est intervenue. Le tableau suivant décrit les champs de cet objet.

Champ

Description

guardrails

Une liste des garde-corps qui ont évalué l'invocation. Chaque entrée inclut le nom de la ressource Amazon (arn) et le nom version du garde-corps. Plusieurs garde-corps peuvent apparaître lorsqu'un garde-corps appliqué par le compte ou par l'organisation et un garde-corps au niveau de la demande évaluent la même invocation.

guardrailAction

L'action entreprise par le garde-corps. GuardDuty génère ce résultat lorsque la valeur estGUARDRAIL_INTERVENED.

guardrailSource

Le contenu évalué par le garde-corps. INPUTindique une invite envoyée au modèle et OUTPUT indique une réponse du modèle.

contentPolicyFilters

Liste des filtres de politique de contenu appliqués par le garde-fou. Pour ce type de recherche, une entrée comporte un type de PROMPT_ATTACK et un confidence deHIGH. actionC'est BLOCKED si le garde-corps a bloqué le contenu ou NONE si le garde-corps a détecté l'attaque rapide mais a été configuré uniquement pour la signaler.

sensitiveInformationFilters

Filtres d'informations sensibles que le garde-fou a appliqués lors de l'évaluation de l'invocation. Chaque entrée comporte un identifiant type identifiant le type d'informations sensibles détectées par le garde-corps, par exemple AWS_SECRET_KEY ouPASSWORD, et indiquant si le garde-corps a bloqué le contenu, BLOCKED si le garde-corps l'a masqué ou ANONYMIZED NONE si le garde-corps l'a détecté mais a été configuré uniquement pour le signaler. action La découverte enregistre le type d'informations détectées, jamais le contenu lui-même.

Cette découverte correspond à la technique MITRE ATLAS AML.T0051 - LLM Prompt Injection sur le site Web de MITRE ATLAS.

Recommandations de correction :

Vérifiez l'invite qui a déclenché l'intervention de la barrière de sécurité et l'identité IAM qui a envoyé l'invite. Si l'activité est inattendue pour l'identité associée, les informations d'identification ont peut-être été compromises. Pour de plus amples informations, veuillez consulter Remédier aux failles potentiellement compromises AWS informations d’identification. Si le garde-corps a détecté l'attaque rapide mais ne l'a pas bloquée, envisagez de définir l'action du filtre de contenu d'attaque rapide sur Bloquer plutôt que sur Détecter afin que le garde-corps bloque le contenu. Pour plus d'informations, consultez la section Options de gestion du contenu préjudiciable détecté par Amazon Bedrock Guardrails dans le guide de l'utilisateur d'Amazon Bedrock. Vous pouvez également restreindre l'accès aux API d'appel Amazon Bedrock pour l'identité concernée.