Connecteur Amazon Athena AWS pour CMDB - Amazon Athena
PrérequisParamètresBases de données et tablesAutorisations nécessairesPerformancesInformations de licenceRessources supplémentaires

Connecteur Amazon Athena AWS pour CMDB

Le connecteur CMDB AWS Amazon Athena permet à Athena de communiquer avec divers services AWS afin que vous puissiez les interroger avec SQL.

Ce connecteur peut être enregistré auprès du Catalogue de données Glue en tant que catalogue fédéré. Il prend en charge les contrôles d’accès aux données définis dans Lake Formation aux niveaux catalogue, base de données, table, colonne, ligne et balise. Ce connecteur utilise les connexions Glue pour centraliser les propriétés de configuration dans Glue.

Prérequis

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur AWS pour CMDB.

Nous vous recommandons de configurer un connecteur AWS pour CMDB en utilisant un objet des connexions Glue. Pour ce faire, définissez la variable d’environnement glue_connection du connecteur AWS pour CMDB Lambda sur le nom de la connexion Glue à utiliser.

Propriétés des connexions Glue

Utilisez la commande suivante afin d’obtenir le schéma d’un objet de connexion Glue. Ce schéma contient tous les paramètres que vous pouvez utiliser pour contrôler votre connexion.

aws glue describe-connection-type --connection-type CMDB

Propriétés d’environnement Lambda

glue_connection – Spécifie le nom de la connexion Glue associée au connecteur fédéré.

Note

  • Tous les connecteurs qui utilisent des connexions Glue doivent utiliser AWS Secrets Manager pour stocker les informations d’identification.

  • Le connecteur AWS pour CMDB créé à l’aide des connexions Glue ne prend pas en charge l’utilisation d’un gestionnaire de multiplexage.

  • Le connecteur AWS pour CMDB créé à l’aide des connexions Glue prend uniquement en charge ConnectionSchemaVersion 2.

Note

Les connecteurs de source de données Athena créés le 3 décembre 2024 et les versions ultérieures utilisent des connexions AWS Glue.

Les noms et définitions de paramètres répertoriés ci-dessous concernent les connecteurs de source de données Athena créés sans connexion Glue associée. Utilisez les paramètres suivants uniquement lorsque vous déployez manuellement une version antérieure d’un connecteur de source de données Athena ou lorsque la propriété d’environnement glue_connection n’est pas spécifiée.

Propriétés d’environnement Lambda

  • spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

  • spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

  • spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez PutObject dans la Référence d'API Amazon Simple Storage Service.

  • kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

  • disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

  • default_ec2_image_owner – (Facultatif) Lorsque ce paramètre est défini, il contrôle le propriétaire de l’image Amazon EC2 par défaut qui filtre les Amazon Machine Images (AMI). Si vous ne définissez pas cette valeur et que votre requête par rapport à la table des images EC2 n’inclut pas de filtre pour le propriétaire, vos résultats incluront toutes les images publiques.

Bases de données et tables

Le connecteur AWS CMDB Athena met les bases de données et les tables suivantes à disposition pour interroger votre stock de ressources AWS. Pour plus d’informations sur les colonnes disponibles dans chaque table, exécutez une instruction DESCRIBE database.tableà l’aide de la console Athena ou de l’API.

  • ec2 – Cette base de données contient des ressources relatives à Amazon EC2, notamment les suivantes.

  • ebs_volumes – Contient les détails de vos volumes Amazon EBS.

  • ec2_instances – Contient les détails de vos instances EC2.

  • ec2_images – Contient les détails des images de votre instance EC2.

  • routing_tables – Contient les détails de vos tables de routage VPC.

  • security_groups – Contient les détails de vos groupes de sécurité.

  • sous-réseaux – Contient les détails de vos sous-réseaux VPC.

  • vpc – Contient les détails de vos VPC.

  • mr – Cette base de données contient des ressources relatives à Amazon EMR, notamment les suivantes.

  • emr_clusters – Contient les détails de vos clusters EMR.

  • rds – Cette base de données contient des ressources relatives à Amazon RDS, notamment les suivantes.

  • rds_instances – Contient les détails de vos instances RDS.

  • s3 – Cette base de données contient des ressources relatives à RDS, notamment les suivantes.

  • buckets (compartiment)s – Contient les détails de vos compartiments Amazon S3.

  • objects (objets) – Contient les détails de vos objets Amazon S3, à l’exception de leur contenu.

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, reportez-vous à la section Policies du fichier athena-aws-cmdb.yaml. La liste suivante résume les autorisations requises.

  • Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

  • Athena GetQueryExecution – Le connecteur utilise cette autorisation pour aboutir à un échec rapide lorsque la requête Athena en amont est terminée.

  • S3 List (Liste S3) – Le connecteur utilise cette autorisation pour répertorier vos compartiments et vos objets Amazon S3.

  • EC2 Describe (Description EC2) – Le connecteur utilise cette autorisation pour décrire des ressources telles que vos instances Amazon EC2, vos groupes de sécurité, vos VPC et vos volumes Amazon EBS.

  • EMR Descrire/Liste (Description EMR/Liste) – Le connecteur utilise cette autorisation pour décrire vos clusters EMR.

  • RDS Describe (Description RDS) – Le connecteur utilise cette autorisation pour décrire vos instances RDS.

Performances

Actuellement, le connecteur AWS CMDB Athena ne prend pas en charge les analyses parallèles. La poussée vers le bas de prédicat est effectuée au sein de la fonction Lambda. Dans la mesure du possible, des prédicats partiels sont transférés aux services interrogés. Par exemple, une requête pour obtenir les détails d’une instance Amazon EC2 spécifique appelle l’API EC2 avec l’ID d’instance spécifique pour exécuter une opération de description ciblée.

Informations de licence

Le projet de connecteur AWS CMDB Amazon Athena est concédé sous licence dans le cadre de la licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, consultez le site correspondant sur GitHub.com.