Sessions d’arrière-plan pour les utilisateurs - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Sessions d’arrière-plan pour les utilisateurs

Les sessions d'arrière-plan des utilisateurs permettent de poursuivre les tâches d'analyse et d'apprentissage automatique de longue durée même après que l'utilisateur se soit déconnecté de l'interface de son bloc-notes. À partir de la EC2 version 7.11 d'EMR, cette fonctionnalité est disponible via la fonction de propagation d'identité sécurisée d'EMR-EC2. Les sections suivantes expliquent les options de configuration et les comportements pour les sessions d'arrière-plan des utilisateurs.

Note

Les paramètres de session d'arrière-plan de l'utilisateur n'affectent que les charges de travail Spark lancées via SageMaker Unified Studio. Les modifications apportées à ce paramètre s'appliquent aux nouvelles sessions Livy ; les sessions actives existantes ne sont pas affectées.

Configurer les sessions d'arrière-plan des utilisateurs

Les sessions d'arrière-plan de l'utilisateur doivent être activées à deux niveaux pour fonctionner correctement :

  1. Niveau d'instance IAM Identity Center (configuré par les administrateurs iDC)

  2. Niveau du cluster EMR (configuré par les administrateurs du cluster EMR)

Activer les sessions d'arrière-plan des utilisateurs pour Amazon EMR

Pour activer les sessions utilisateur en arrière-plan, vous devez définir le userBackgroundSessionsEnabled paramètre sur true in identityCenterConfiguration lors de la création de la configuration de sécurité EMR.

Prérequis :

  • Le rôle IAM utilisé pour créer ou mettre à jour la configuration de sécurité EMR nécessite sso:PutApplicationSessionConfiguration l'autorisation. Cette autorisation active les sessions d'arrière-plan des utilisateurs pour l'application IAM Identity Center gérée par Amazon EMR.

  • Création d'un rôle IAM pour IAM Identity Center

  • Lancez votre cluster EMR avec la version 7.11 ou ultérieure et activez Trusted-Identity Propagation.

Étape 1 - Création d'une configuration de sécurité EMR UserBackgroundSession compatible avec Identity Center

Les utilisateurs doivent définir l'EnableUserBackgroundSessionindicateur surtrue, ce qui permettra au service EMR de s'activer au niveau de l'application UserBackgourndSession IDC gérée par EMR. Si cet indicateur est défini false ou non, EMR désactivera IDC UserBackgroundSession par défaut.

Exemple d'utilisation du AWS CLI :

aws emr create-security-configuration --name "idc-userBackgroundSession-enabled-secConfig" \ --region AWS_REGION \ --security-configuration ' \ { "AuthenticationConfiguration":{ "IdentityCenterConfiguration":{ "EnableIdentityCenter":true, "IdentityCenterInstanceARN": "arn:aws:sso:::instance/ssoins-123xxxxxxxxxx789", "IdentityCenterApplicationAssigmentRequired": false, "EnableUserBackgroundSession": true, "IAMRoleForEMRIdentityCenterApplicationARN": "arn:aws:iam::12345678912:role/YOUR_ROLE" } },\ "AuthorizationConfiguration": { "IAMConfiguration": { "EnableApplicationScopedIAMRole": true, "ApplicationScopedIAMRoleConfiguration": { "PropagateSourceIdentity": true } },\ "LakeFormationConfiguration": { "AuthorizedSessionTagValue": "Amazon EMR" } },\ "EncryptionConfiguration": { "EnableInTransitEncryption": true, "EnableAtRestEncryption": false, "InTransitEncryptionConfiguration": { "TLSCertificateConfiguration": { "CertificateProviderType": "PEM", "S3Object": "s3://amzn-s3-demo-bucket/cert/my-certs.zip" } } } }'

Étape 2 - Création et lancement d'un cluster activé par Identity Center

Maintenant que vous avez configuré le rôle IAM qui s’authentifie auprès d’Identity Center et que vous avez créé une configuration de sécurité Amazon EMR pour laquelle Identity Center est activé, vous pouvez créer et lancer votre cluster basé sur l’identité. Pour savoir comment lancer votre cluster avec la configuration de sécurité requise, consultez Spécifier une configuration de sécurité pour un cluster Amazon EMR.

Matrice de configuration

Le comportement de la session d'arrière-plan de l'utilisateur dépend à la fois du EC2 paramètre EMR et des paramètres au niveau de l'instance d'IAM Identity Center :

Matrice de configuration des sessions d'arrière-plan utilisateur
Centre userBackgroundSession d'identité IAM activé Amazon EMR activé userBackgroundSessions Comportement
Oui TRUE Session d'arrière-plan de l'utilisateur activée
Oui FALSE La session expire avec la déconnexion de l'utilisateur
Non TRUE La session expire avec la déconnexion de l'utilisateur
Non FALSE La session expire avec la déconnexion de l'utilisateur

Durée par défaut de la session d’arrière-plan pour les utilisateurs

Par défaut, toutes les sessions d'arrière-plan des utilisateurs ont une durée maximale de 7 jours dans IAM Identity Center. Les administrateurs peuvent modifier cette durée dans la console IAM Identity Center. Ce paramètre s'applique au niveau de l'instance IAM Identity Center, affectant toutes les applications IAM Identity Center prises en charge au sein de cette instance.

  • La durée peut être définie sur n'importe quelle valeur comprise entre 15 minutes et 90 jours.

  • Ce paramètre est configuré dans la console IAM Identity Center sous ParamètresAuthentificationConfigurer (voir la section Tâches non interactives)

Impact de la désactivation des sessions d'arrière-plan des utilisateurs

Lorsque les sessions d'arrière-plan des utilisateurs sont désactivées dans IAM Identity Center :

Sessions Livy existantes
  • Continuez à fonctionner sans interruption s'ils ont été démarrés avec les sessions utilisateur en arrière-plan activées. Ces sessions continueront à utiliser leurs jetons de session d'arrière-plan existants jusqu'à ce qu'elles se terminent naturellement ou soient explicitement arrêtées.

Nouvelles sessions Livy
  • Utilisera le flux standard de propagation des identités fiables et s'arrêtera lorsque l'utilisateur se déconnectera ou que sa session interactive expirera (par exemple lors de la fermeture d'un JupyterLab bloc-notes Amazon SageMaker Unified Studio).

Modification de la durée des sessions d'arrière-plan des utilisateurs

Lorsque le paramètre de durée des sessions d'arrière-plan des utilisateurs est modifié dans IAM Identity Center :

Sessions Livy existantes
  • Continuez à s'exécuter avec la même durée de session en arrière-plan que celle avec laquelle ils ont été démarrés.

Nouvelles sessions Livy
  • Utilisera la nouvelle durée de session pour les sessions en arrière-plan.

Considérations

Disponibilité des fonctions

Les sessions d'arrière-plan des utilisateurs pour Amazon EMR sont disponibles pour :

  • Moteur Spark uniquement (le moteur Hive n'est pas pris en charge)

  • Sessions interactives Livy uniquement (les tâches par lots et les tâches de streaming ne sont pas prises en charge)

  • Étiquettes de version 7.11 et versions ultérieures d'Amazon EMR. Avec la version 7.11 d'EMR, vous devez installer un script d'action bootstrap pour activer les sessions utilisateur en arrière-plan lors de la création d'un cluster. Veuillez contacter le AWS Support pour plus de détails.

    Note

    Si vous utilisez un cluster provisionné par SageMaker Unified Studio, vous n'avez pas besoin du script d'action bootstrap pour utiliser cette fonctionnalité.

Incidences financières

  • Les tâches continueront à être exécutées jusqu'à leur fin même une fois que les utilisateurs auront mis fin à leur JupyterLab session Amazon SageMaker Unified Studio et des frais seront facturés pendant toute la durée de l'exécution terminée.

  • Surveillez vos sessions d'arrière-plan actives pour éviter les coûts inutiles liés à des sessions oubliées ou abandonnées.

Conditions de fin de session Livy

Lorsque vous utilisez des sessions utilisateur en arrière-plan, une session Livy continue de fonctionner jusqu'à ce que l'un des événements suivants se produise :

  • La session d'arrière-plan de l'utilisateur expire (selon la configuration d'iDC, jusqu'à 90 jours).

  • La session d'arrière-plan de l'utilisateur est révoquée manuellement par un administrateur.

  • La session Livy atteint son délai d'inactivité (par défaut : 8 heures après la dernière instruction exécutée).

  • L'utilisateur arrête ou redémarre explicitement le noyau du bloc-notes.