Ressources pour utiliser les exemples d' SageMaker AI Spark pour Python (PySpark) - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ressources pour utiliser les exemples d' SageMaker AI Spark pour Python (PySpark)

Amazon SageMaker AI fournit une bibliothèque Python (SageMaker AI PySpark) Apache Spark que vous pouvez utiliser pour intégrer vos applications Apache Spark à l' SageMaker IA. Cette rubrique contient des exemples pour vous aider à démarrer PySpark. Pour plus d'informations sur la bibliothèque SageMaker AI Apache Spark, consultezApache Spark avec Amazon SageMaker AI.

Download PySpark

Vous pouvez télécharger le code source des bibliothèques Python Spark (PySpark) et Scala depuis le GitHub référentiel SageMaker AI Spark.

Pour obtenir des instructions sur l'installation de la bibliothèque SageMaker AI Spark, utilisez l'une des options suivantes ou consultez SageMaker AI PySpark.

  • Installation avec pip :

    pip install sagemaker_pyspark

  • Installation à partir de la source :

    git clone git@github.com:aws/sagemaker-spark.git
cd sagemaker-pyspark-sdk
python setup.py install

  • Vous pouvez également créer un nouveau bloc-notes dans une instance de bloc-notes qui utilise le noyau Sparkmagic (PySpark) ou Sparkmagic (PySpark3), et vous connecter à un cluster Amazon EMR distant.

    Note

    Le cluster Amazon EMR doit être configuré avec un rôle IAM auquel la politique AmazonSageMakerFullAccess est attachée. Pour plus d’informations sur la configuration de rôles pour un cluster EMR, consultez Configuration des rôles IAM pour les autorisations Amazon EMR aux services AWS dans le Guide de gestion Amazon EMR.

PySpark exemples

Pour des exemples d'utilisation de l' SageMaker IA PySpark, voir :