Configuration de votre cluster Amazon MSK et de votre réseau Amazon VPC pour Lambda

Pour connecter votre fonction AWS Lambda à votre cluster Amazon MSK, vous devez configurer correctement votre cluster et l’instance Amazon Virtual Private Cloud (VPC) dans laquelle il réside. Cette page décrit comment configurer votre cluster et votre VPC. Si votre cluster et votre VPC sont déjà correctement configurés, consultez Configuration de source d’événements Amazon MSK pour Lambda pour configurer le mappage des sources d’événements.

Présentation des exigences de configuration réseau pour les intégrations Lambda et MSK

La configuration réseau requise pour une intégration Lambda et MSK dépend de l’architecture réseau de votre application. Trois ressources principales sont impliquées dans cette intégration : le cluster Amazon MSK, la fonction Lambda et le mappage des sources d’événements Lambda. Chacune de ces ressources réside dans un VPC différent :

Le mappage des sources d’événements est la ressource intermédiaire entre le cluster MSK et la fonction Lambda. Le mappage des sources d’événements effectue deux tâches principales. Tout d’abord, il interroge votre cluster MSK à la recherche de nouveaux messages. Ensuite, il invoque votre fonction Lambda avec ces messages. Étant donné que ces trois ressources se trouvent dans des VPC différents, les opérations d’interrogation et d’invocation nécessitent des appels réseau entre VPC.

Les exigences de configuration réseau pour votre mappage des sources d’événements varient selon qu’il utilise le mode provisionné ou le mode à la demande, comme le montre le schéma suivant :

La façon dont le mappage des sources d’événements Lambda interroge votre cluster MSK à la recherche de nouveaux messages est la même dans les deux modes. Pour établir une connexion entre votre mappage des sources d’événements et votre cluster MSK, Lambda crée une ENI Hyperplane (ou réutilise une ENI existante, si disponible) dans votre sous-réseau privé afin d’établir une connexion sécurisée. Comme illustré dans le schéma, cette ENI Hyperplane utilise la configuration du sous-réseau et du groupe de sécurité de votre cluster MSK, et non votre fonction Lambda.

Après avoir interrogé le message du cluster, la façon dont Lambda invoque votre fonction est différente dans chaque mode :

Une passerelle NAT permet aux ressources de votre sous-réseau privé d’accéder à l’Internet public. L’utilisation de cette configuration signifie que votre trafic traverse Internet avant d’invoquer la fonction Lambda. Les points de terminaison AWS PrivateLink permettent aux sous-réseaux privés de se connecter en toute sécurité aux services AWS ou à d’autres ressources VPC privées sans passer par l’Internet public. Consultez Configuration d’une passerelle NAT pour une source d’événements MSK ou Configuration des points de terminaison AWS PrivateLink pour une source d’événements MSK pour en savoir plus sur la façon de configurer ces ressources.

Jusqu’à présent, nous avons supposé que votre cluster MSK résidait dans un sous-réseau privé au sein de votre VPC, ce qui est le cas le plus courant. Toutefois, même si votre cluster MSK se trouve dans un sous-réseau public au sein de votre VPC, vous devez configurer des points de terminaison AWS PrivateLink pour permettre une connexion sécurisée. Le tableau suivant résume les exigences de configuration réseau en fonction de la façon dont vous configurez votre cluster MSK et du mappage des sources d’événements Lambda :

En outre, les groupes de sécurité associés à votre cluster MSK doivent autoriser le trafic sur les bons ports. Vérifiez que les règles de groupe de sécurité suivantes sont configurées :

Configuration d’une passerelle NAT pour une source d’événements MSK

Vous pouvez configurer une passerelle NAT pour permettre à votre mappage des sources d’événements d’interroger les messages de votre cluster et d’invoquer la fonction via un chemin à travers votre VPC. Cela n’est nécessaire que si votre mappage des sources d’événements utilise le mode à la demande et que votre cluster réside dans un sous-réseau privé de votre VPC. Si votre cluster réside dans un sous-réseau public de votre VPC, ou si le mappage des sources d’événements utilise le mode provisionné, vous n’avez pas besoin de configurer de passerelle NAT.

Une passerelle NAT permet aux ressources d’un sous-réseau privé d’accéder à l’Internet public. Si vous avez besoin d’une connectivité privée à Lambda, consultez plutôt Configuration des points de terminaison AWS PrivateLink pour une source d’événements MSK.

Après avoir configuré votre passerelle NAT, vous devez configurer les tables de routage appropriées. Cela permet au trafic provenant de votre sous-réseau privé d’être acheminé vers l’Internet public via la passerelle NAT.

Les étapes suivantes vous guident dans la mise en réseau d’une passerelle NAT à l’aide de la console. Si nécessaire, répétez ces étapes pour chaque zone de disponibilité (AZ).

Configuration des points de terminaison AWS PrivateLink pour une source d’événements MSK

Vous pouvez configurer des points de terminaison AWS PrivateLink pour interroger les messages de votre cluster et invoquer la fonction via un chemin à travers votre VPC. Ces points de terminaison devraient permettre à votre cluster MSK d’accéder à ce qui suit :

La configuration des points de terminaison PrivateLink n’est requise que si votre mappage des sources d’événements utilise le mode à la demande. Si votre mappage des sources d’événements utilise le mode provisionné, Lambda établit les connexions requises pour vous.

Les points de terminaison PrivateLink permettent un accès privé et sécurisé aux services AWS sur AWS PrivateLink. Vous pouvez également configurer une passerelle NAT afin de permettre à votre cluster MSK d’accéder à l’Internet public (voir Configuration d’une passerelle NAT pour une source d’événements MSK).

Une fois que vous avez configuré vos points de terminaison de VPC, votre cluster MSK devrait disposer d’un accès direct et privé à Lambda, STS et éventuellement Secrets Manager.

Les étapes suivantes vous guident dans la configuration d’un point de terminaison PrivateLink à l’aide de la console. Si nécessaire, répétez ces étapes pour chaque point de terminaison (Lambda, STS, Secrets Manager).

Par défaut, les points de terminaison Amazon VPC disposent de politiques IAM ouvertes qui permettent un accès étendu aux ressources. La meilleure pratique consiste à restreindre ces politiques pour effectuer les actions nécessaires à l’aide de ce point de terminaison. Par exemple, pour votre point de terminaison Secrets Manager, vous pouvez modifier sa politique de sorte qu’il autorise uniquement le rôle d’exécution de votre fonction à accéder au secret.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws::iam::123456789012:role/my-role"
                ]
            },
            "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
        }
    ]
}

Pour les points de terminaison AWS STS et Lambda, vous pouvez limiter le principal appelant au principal de service Lambda. Cependant, assurez-vous d’utiliser "Resource": "*" dans ces politiques.

{
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
} 

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}