Configuration de l’accès réseau pour votre cluster Amazon EMR

Avant de commencer à utiliser Amazon EMR ou EMR sans serveur pour vos tâches de préparation des données dans Studio, assurez-vous que vous ou votre administrateur avez configuré votre réseau pour autoriser la communication entre Studio et Amazon EMR. Une fois cette communication activée, vous pouvez choisir de :

Les instructions de mise en réseau varient selon que Studio et Amazon EMR sont déployés au sein d’un réseau cloud privé virtuel (VPC) Amazon privé ou communiquent via Internet.

Par défaut, Studio ou Studio Classic s’exécute dans un VPC géré par AWS avec un accès Internet. Lorsque vous utilisez une connexion Internet, Studio et Studio Classic accèdent à des ressources AWS, telles que les compartiments Amazon S3, via Internet. Toutefois, si vous avez des exigences de sécurité pour contrôler l’accès à vos données et à vos conteneurs de tâches, nous vous recommandons de configurer Studio ou Studio Classic et Amazon EMR afin que vos données et vos conteneurs ne soient pas accessibles via Internet. Pour contrôler l’accès à vos ressources ou exécuter Studio ou Studio Classic sans accès Internet public, vous pouvez spécifier le type d’accès au réseau VPC only lorsque vous intégrez le domaine Amazon SageMaker AI. Dans ce scénario, Studio et Studio Classic établissent des connexions avec d’autres services AWS via des points de terminaison de VPC privés. Pour en savoir plus sur la configuration de Studio ou de Studio Classic en mode VPC only, consultez Connexion de blocs-notes SageMaker Studio ou Studio Classic dans un VPC à des ressources externes.

Les deux premières sections expliquent comment garantir la communication entre Studio ou Studio Classic et Amazon EMR dans des VPC sans accès public à Internet. La dernière section explique comment garantir la communication entre Studio ou Studio Classic et Amazon EMR à l’aide d’une connexion Internet. Avant de connecter Studio ou Studio Classic et Amazon EMR sans accès à Internet, veillez à établir des points de terminaison pour Amazon Simple Storage Service (stockage de données), Amazon CloudWatch (journalisation et surveillance) et l’environnement d’exécution Amazon SageMaker (contrôle d’accès détaillé basé sur les rôles (RBAC)).

Pour connecter Studio ou Studio Classic et Amazon EMR :

Studio et Amazon EMR sont dans des VPC différents

Afin d’autoriser la communication entre Studio ou Studio Classic et Amazon EMR lorsqu’ils sont déployés dans différents VPC :

Les étapes pour connecter Studio ou Studio Classic et Amazon EMR sont les mêmes, que les ressources soient déployées dans un seul compte AWS (cas d’utilisation d’un seul compte) ou sur plusieurs comptes AWS (cas d’utilisation entre comptes).

Le diagramme suivant montre un exemple de configuration d’un réseau Amazon VPC qui permet aux blocs-notes JupyterLab ou Studio Classic de provisionner des clusters Amazon EMR depuis des modèles CloudFormation dans Service Catalog, puis de se connecter à un cluster Amazon EMR au sein du même compte AWS. Le schéma fournit une illustration supplémentaire des points de terminaison requis pour une connexion directe à divers services AWS, tels qu’Amazon S3 ou Amazon CloudWatch, lorsque les VPC n’ont pas accès à Internet. Une passerelle NAT doit également être utilisée pour permettre aux instances des sous-réseaux privés de plusieurs VPC de partager une seule adresse IP publique fournie par la passerelle Internet lors de l’accès à Internet.

Studio et Amazon EMR sont dans le même VPC

Si Studio ou Studio Classic et Amazon EMR se trouvent dans des sous-réseaux différents, ajoutez des routes à la table de routage de chaque sous-réseau privé pour router le trafic entre Studio ou Studio Classic et les sous-réseaux Amazon EMR. Vous pouvez définir ces routes en accédant à la section Tables de routage de chaque VPC dans le tableau de bord du VPC. Si vous avez déployé Studio ou Studio Classic et Amazon EMR dans le même VPC et le même sous-réseau, vous n’avez pas besoin de router le trafic entre Studio et Amazon EMR.

Que vous deviez ou non mettre à jour vos tables de routage, le groupe de sécurité de votre domaine Studio ou Studio Classic doit autoriser le trafic sortant et le groupe de sécurité du nœud primaire Amazon EMR doit autoriser le trafic entrant sur les ports TCP Apache Livy, Hive ou Presto (respectivement 8998, 10000 et 8889) depuis le groupe de sécurité d’instance Studio ou Studio Classic. Apache Livy est un service qui permet d’interagir avec Amazon EMR via une interface REST.

Studio et Amazon EMR communiquent via l’Internet public

Par défaut, Studio et Studio Classic fournissent une interface réseau qui permet de communiquer avec Internet via une passerelle Internet dans le VPC associé au domaine SageMaker. Si vous choisissez de vous connecter à Amazon EMR via le réseau Internet public, Amazon EMR doit accepter le trafic entrant sur les ports TCP Apache Livy, Hive ou Presto (respectivement 8998, 10000 et 8889) depuis sa passerelle Internet. Apache Livy est un service qui permet d’interagir avec Amazon EMR via une interface REST.

Gardez à l’esprit que tout port sur lequel vous autorisez le trafic entrant représente une vulnérabilité de sécurité potentielle. Vérifiez attentivement les groupes de sécurité personnalisés pour vous assurer de réduire les failles de sécurité. Pour plus d'informations, consultez Contrôle du trafic réseau avec des groupes de sécurité.

Vous pouvez également consulter Blogs et livres blancs pour une présentation détaillée expliquant comment activer Kerberos sur Amazon EMR, configurer le cluster dans un sous-réseau privé et accéder au cluster à l’aide d’un Network Load Balancer (NLB) afin d’exposer uniquement des ports spécifiques, dont l’accès est contrôlé par des groupes de sécurité.