Fédérer pour Snowflake Catalogue Iceberg

Connectez-vous à la console et ouvrez la console Lake Formation à l'adresse https://console.aws.amazon.com/lakeformation/.

Choisissez la AWS région préférée dans le sélecteur de région.

Dans le volet de navigation de gauche, choisissez Catalogues.

Choisissez Créer un catalogue pour ouvrir le flux de travail de création d'un catalogue.

Dans l'étape Choisir la source de données, Snowflake sélectionnez l'une des options disponibles.

Dans l'étape Définir les détails du catalogue, vous fournissez trois informations : les détails du catalogue, les détails de connexion et les détails d'enregistrement.

Dans le conteneur de détails du catalogue, donnez un nom unique à votre catalogue AWS Glue fédéré et entrez le nom du Snowflake catalogue existant.

Dans le conteneur de détails des connexions, vous pouvez choisir parmi une connexion existante à laquelle vous avez accès ou fournir une configuration pour créer un nouveau connecteur.

Les nouvelles configurations de connexion incluent :

Créez un rôle IAM que AWS Glue les responsables du service Lake Formation pourront utiliser pour accéder respectivement aux emplacements secrets AWS Secrets Manager et aux emplacements Amazon S3 des tables Iceberg distantes. Sélectionnez le rôle IAM dans la liste déroulante d'enregistrement. Reportez-vous aux étapes 2 et 3 de la section CLI suivante pour plus de détails sur la politique IAM.

Sélectionnez Tester la connexion pour vérifier si les propriétés de votre connexion et l'accès aux rôles IAM sont correctement configurés.

Cliquez sur Suivant pour vérifier vos paramètres.

Sélectionnez Créer un catalogue dans la page de révision.

Créez un AWS Secrets Manager secret

Le AWS Glue connecteur prend en charge deux types d'authentification : OAuth2 et Personnalisé. Lorsque vous utilisez l'option OAuth2, utilisez-la AWS Secrets Manager pour stocker le secret client du principal de Snowflake service. Vous utiliserez ultérieurement ce secret lors de la création de la AWS Glue connexion. Pour l'authentification personnalisée, utilisez AWS Secrets Manager pour stocker et récupérer le jeton d'accès.

Dans l'exemple suivant, remplacezyour-snowflake-secret,client_secret, region par vos propres informations.

aws secretsmanager create-secret \
--name your-snowflake-secret \
--description "Snowflake secret" \
--secret-string '{
"USER_MANAGED_CLIENT_APPLICATION_CLIENT_SECRET": "client_secret"
}' \
--region region

Créez un rôle IAM qui permet à l'objet de AWS Glue connexion d'accéder au secret créé à l'étape précédente

L'objet de AWS Glue connexion nécessite l'accès au AWS Secrets Manager secret lorsque vous l'utilisez AWS Secrets Manager pour stocker, récupérer et actualiser votre jeton secret OAuth. L'objet de AWS Glue connexion nécessite également un accès pour créer, décrire et utiliser les interfaces réseau Amazon VPC lorsque vous utilisez un point de terminaison Amazon VPC pour restreindre la connectivité à votre Snowflake compte.

Créez une politique IAM et associez-la à un rôle IAM. Ajoutez le principal de AWS Glue service à la politique de confiance.

Dans l'exemple suivant, remplacez your-secrets-manager-ARNyour-vpc-id, et your-subnet-id1 par vos propres informations.

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue",
                "secretsmanager:DescribeSecret",
                "secretsmanager:PutSecretValue"
            ],
            "Resource": [
                "your-secrets-manager-ARN"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "ec2:CreateNetworkInterface",
                "ec2:DeleteNetworkInterface",
                "ec2:DescribeNetworkInterfaces"
            ],
            "Resource": "*",
            "Condition": {
                "ArnEquals": {
                    "ec2:Vpc": "arn:aws:ec2:region:account-id:vpc/your-vpc-id",
                    "ec2:Subnet": ["arn:aws:ec2:region:account-id:subnet/your-subnet-id1"]
                }
            }
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "glue.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Créez une politique IAM qui donne à Lake Formation un accès en lecture à l'emplacement Amazon S3 du catalogue

En tant que propriétaire d'un catalogue fédéré dans Data Catalog, vous utilisez Lake Formation pour accorder à vos équipes chargées des données un accès grossier aux tableaux, un accès affiné (au niveau des colonnes, des lignes et des cellules) et un accès basé sur des balises. Lake Formation utilise un rôle IAM qui lui donne accès aux emplacements Amazon S3 sous-jacents de vos tables Iceberg distantes. Cet accès permet à Lake Formation d'envoyer des informations d'accès étendues aux moteurs d'analyse qui interrogent des tables distantes.

Créez une politique IAM et associez-la à un rôle IAM. Ajoutez le responsable du service Lake Formation à la politique de confiance des rôles.

Dans l'exemple suivant, remplacez amzn-s3-demo-bucketN et your-kms-key par vos propres informations.

{
    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1/*",
                "arn:aws:s3:::amzn-s3-demo-bucket2/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-bucket1",
                "arn:aws:s3:::amzn-s3-demo-bucket2"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:Encrypt"
            ],
            "Resource": [
                "your-kms-key"
            ]
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [{
        "Sid": "",
        "Effect": "Allow",
        "Principal": {
            "Service": "lakeformation.amazonaws.com"
        },
        "Action": "sts:AssumeRole"
    }]
}

Création d'un objet AWS Glue de connexion

AWS Glue Le connecteur prend en charge les méthodes d'authentification OAuth2 et personnalisées. L'objet de connexion Data Catalog prend en charge la CATALOG_CASING_FILTER configuration qui vous permet de transférer dans Data Catalog les objets en minuscules ou en majuscules de votre catalogue distant.

L'exemple suivant utilise la configuration d'authentification OAuth2 pour créer une AWS Glue connexion. Remplacez highlighted sections par vos informations.

aws glue create-connection \
    --connection-input '{
"Name": "your-glue-connection-to-snowflake-account",
"ConnectionType": "SNOWFLAKEICEBERGRESTCATALOG",
"ConnectionProperties": {
    "INSTANCE_URL": "your-snowflake-account-URL",
    "ROLE_ARN": "your-IAM-role-for-secrets-and-VPC-access",
    "CATALOG_CASING_FILTER": "LOWERCASE_ONLY"
},
"AuthenticationConfiguration": {
    "AuthenticationType": "OAUTH2",
    "OAuth2Properties": {
        "OAuth2GrantType": "CLIENT_CREDENTIALS",
        "TokenUrl": "your-internal-or-external-token-server-url",
        "OAuth2ClientApplication": {
            "UserManagedClientApplicationClientId": "our-client-id"
        },
        "TokenUrlParametersMap": {
            "scope": "all-apis"
        }
    },
    "SecretArn": "arn:aws:secretsmanager:your-aws-region:your-aws-account-id:secret:snowflake-secret"
}
}'

Enregistrer la AWS Glue connexion en tant que ressource sur la formation lacustre

À l'aide de l'objet de AWS Glue connexion (créé à l'étape 4) et du rôle IAM (créé à l'étape 3), vous pouvez désormais enregistrer l'objet de AWS Glue connexion en tant que ressource gérée par Lake Formation.

Remplacez your-glue-connector-arn et your-IAM-role-ARN-having-LF-access par vos informations.

aws lakeformation register-resource \
    --resource-arn your-glue-connector-arn \
    --role-arn your-IAM-role-ARN-having-LF-access \
    --with-federation \
    --with-privileged-access

Création d'un catalogue fédéré dans Data Catalog

Après avoir créé un objet de AWS Glue connexion et l'avoir enregistré auprès de Lake Formation, vous pouvez créer un catalogue fédéré dans le Data Catalog :

Donnez au catalogue fédéré un nom unique àyour-federated-catalog-name, faites référence au catalogue dans Snowflake at catalog-name-in-Snowflake et entrez le nom de connexion créé précédemment àyour-glue-connection-name.

aws glue create-catalog \
    --name your-federated-catalog-name \
    --catalog-input '{
    "FederatedCatalog": {
        "Identifier": catalog-name-in-Snowflake",
        "ConnectionName": your-glue-connection-name"
    },
    "CreateTableDefaultPermissions": [],
    "CreateDatabaseDefaultPermissions": []
}'