AWSPremiumSupport-CollectAWSGlueMetadata

Description

Le AWSPremiumSupport-CollectAWSGlueMetadata runbook rassemble les métadonnées de configuration de vos AWS Glue ressources, notamment les bases de données, les robots d'exploration, les tâches ETL, les points de terminaison de développement, les déclencheurs, les flux de travail et les configurations de sécurité. Le runbook écrit ces métadonnées dans un rapport JSON dans le compartiment Amazon S3 de votre choix. Votre responsable de compte technique (TAM) ou votre responsable de compte technique spécialisé (STAM) examine le rapport dans le cadre de l'examen AWS Glue opérationnel. Cet examen est une évaluation proactive de votre AWS Glue environnement par rapport aux AWS meilleures pratiques.

Comment ça marche

Une application Python collecte les AWS Glue métadonnées. L'application s'exécute sur une instance Amazon EC2 temporaire. Le runbook crée cette instance temporaire dans un nouveau Amazon VPC isolé à l'aide d'un modèle intégré AWS CloudFormation . L'instance Amazon EC2 s'exécute sur un sous-réseau privé avec accès à Internet via une passerelle de traduction d'adresses réseau (NAT). Le runbook accède à AWS des services AWS Glue, notamment Amazon EC2 Systems Manager et Amazon S3, via des points de terminaison Amazon VPC situés dans la même région. La passerelle NAT extrait les métadonnées des compartiments Amazon S3 associés à vos AWS Glue ressources dans d'autres AWS régions.

Lorsque le runbook est terminé, il supprime la CloudFormation pile et télécharge le rapport dans le compartiment Amazon S3 de votre choix. Le runbook joint ensuite le rapport au dossier de AWS support pour cette revue opérationnelle. Le fichier JSON se trouve dans le dossier racine de votre compartiment Amazon S3. Contactez votre TAM ou votre STAM si vous avez des questions concernant la revue opérationnelle et les métadonnées collectées.

Exécutez cette automatisation (console)

Type de document

 Automatisation

Propriétaire

Amazon

Plateformes

/

Paramètres du document

Autorisations IAM requises pour collecter les AWS Glue metadata

L'application de collecte de AWS Glue données nécessite les actions suivantes pour exécuter correctement ce runbook et charger le fichier dans le compartiment Amazon S3 privé de votre choix. Un rôle IAM accorde automatiquement ces autorisations à l'instance Amazon EC2 temporaire.

Autorisations IAM requises pour exécuter ce runbook

Pour exécuter ce runbook, le AutomationAssumeRole ou votre utilisateur IAM a besoin des actions suivantes. Ces autorisations sont requises pour créer un nouvel Amazon VPC temporaire et l'instance Amazon EC2 à l'aide de. CloudFormation

L'exemple de politique suivant montre les autorisations de moindre privilège requises pour le. AutomationAssumeRole Remplacez REGIONACCOUNTID, et S3_BUCKET_NAME par vos propres valeurs :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "CloudFormationStackAccess",
            "Effect": "Allow",
            "Action": [
                "cloudformation:CreateStack",
                "cloudformation:DeleteStack",
                "cloudformation:DescribeStackEvents",
                "cloudformation:DescribeStacks",
                "cloudformation:UpdateStack"
            ],
            "Resource": "arn:aws:cloudformation:REGION:ACCOUNTID:stack/AWSPremiumSupport-CollectAWSGlueMetadata-*/*"
        },
        {
            "Sid": "EC2NetworkingAccess",
            "Effect": "Allow",
            "Action": [
                "ec2:AllocateAddress",
                "ec2:AssociateRouteTable",
                "ec2:AttachInternetGateway",
                "ec2:AuthorizeSecurityGroupEgress",
                "ec2:AuthorizeSecurityGroupIngress",
                "ec2:CreateInternetGateway",
                "ec2:CreateNatGateway",
                "ec2:CreateRoute",
                "ec2:CreateRouteTable",
                "ec2:CreateSecurityGroup",
                "ec2:CreateSubnet",
                "ec2:CreateTags",
                "ec2:CreateVpc",
                "ec2:CreateVpcEndpoint",
                "ec2:DeleteInternetGateway",
                "ec2:DeleteNatGateway",
                "ec2:DeleteRoute",
                "ec2:DeleteRouteTable",
                "ec2:DeleteSecurityGroup",
                "ec2:DeleteSubnet",
                "ec2:DeleteTags",
                "ec2:DeleteVpc",
                "ec2:DeleteVpcEndpoints",
                "ec2:DescribeAddresses",
                "ec2:DescribeImages",
                "ec2:DescribeInstances",
                "ec2:DescribeInstanceStatus",
                "ec2:DescribeInternetGateways",
                "ec2:DescribeNatGateways",
                "ec2:DescribeRouteTables",
                "ec2:DescribeSecurityGroups",
                "ec2:DescribeSubnets",
                "ec2:DescribeVpcEndpoints",
                "ec2:DescribeVpcs",
                "ec2:DetachInternetGateway",
                "ec2:DisassociateRouteTable",
                "ec2:ModifySubnetAttribute",
                "ec2:ModifyVpcAttribute",
                "ec2:RebootInstances",
                "ec2:ReleaseAddress",
                "ec2:RevokeSecurityGroupEgress",
                "ec2:RunInstances",
                "ec2:TerminateInstances"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "IAMRoleAccess",
            "Effect": "Allow",
            "Action": [
                "iam:AddRoleToInstanceProfile",
                "iam:AttachRolePolicy",
                "iam:CreateInstanceProfile",
                "iam:CreateRole",
                "iam:DeleteInstanceProfile",
                "iam:DeleteRole",
                "iam:DeleteRolePolicy",
                "iam:DetachRolePolicy",
                "iam:GetInstanceProfile",
                "iam:GetRole",
                "iam:GetRolePolicy",
                "iam:PutRolePolicy",
                "iam:RemoveRoleFromInstanceProfile"
            ],
            "Resource": [
                "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
                "arn:aws:iam::ACCOUNTID:instance-profile/AWSPremiumSupport-CollectAWSGlueMetadata-*"
            ]
        },
        {
            "Sid": "PassRoleToEC2",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::ACCOUNTID:role/AWSPremiumSupport-CollectAWSGlueMetadata-*",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "ec2.amazonaws.com"
                }
            }
        },
        {
            "Sid": "S3BucketAccess",
            "Effect": "Allow",
            "Action": [
                "s3:GetAccountPublicAccessBlock",
                "s3:GetBucketAcl",
                "s3:GetBucketPolicyStatus",
                "s3:GetBucketPublicAccessBlock",
                "s3:ListBucket"
            ],
            "Resource": "arn:aws:s3:::S3_BUCKET_NAME"
        },
        {
            "Sid": "SSMAutomationAccess",
            "Effect": "Allow",
            "Action": [
                "ssm:DescribeAutomationExecutions",
                "ssm:DescribeInstanceInformation",
                "ssm:GetDocument",
                "ssm:GetParameters",
                "ssm:ListCommandInvocations",
                "ssm:ListCommands",
                "ssm:SendCommand"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:RequestedRegion": "REGION"
                }
            }
        },
        {
            "Sid": "SupportCaseAccess",
            "Effect": "Allow",
            "Action": [
                "support:AddAttachmentsToSet",
                "support:AddCommunicationToCase",
                "support:DescribeCases"
            ],
            "Resource": "*"
        }
    ]
}
        

Étapes du document