View a markdown version of this page

Esempi di comandi programmatici per notebook EMR - Amazon EMR
Panoramica diPermissionsLimitazioniEsempi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esempi di comandi programmatici per notebook EMR

Panoramica di

È possibile eseguire notebook EMR con API di esecuzione da uno script o dalla riga di comando. Quando si avvia, si interrompe, si elencano e si descrivono le esecuzioni dei notebook EMR all'esterno della AWS console, è possibile controllare programmaticamente un notebook EMR. Puoi trasmettere diversi valori di parametro a un notebook con una cella di notebook parametrizzata. Questa opzione elimina la necessità di creare una copia del notebook per ogni nuovo set di valori di parametro. Per ulteriori informazioni, consulta le operazioni dell'API di Amazon EMR.

Puoi pianificare o raggruppare le esecuzioni dei notebook EMR con Amazon Events e. CloudWatch AWS Lambda Per ulteriori informazioni, consulta Using AWS Lambda with Amazon CloudWatch Events.

Nota

I notebook EMR sono disponibili come EMR Studio Workspace nella console. Il pulsante Crea spazio di lavoro nella console consente di creare nuovi notebook. Per accedere ai Workspace o crearne di nuovi, gli utenti di Notebook EMR necessitano di ulteriori autorizzazioni per i ruoli IAM. Per ulteriori informazioni, consulta Amazon EMR Notebook are Amazon EMR Studio Workspace nella console e nella console Amazon EMR. https://docs.aws.amazon.com/emr/latest/ManagementGuide/whats-new-in-console.html

Autorizzazioni di ruolo per l'esecuzione a livello di programmazione

Per utilizzare l'esecuzione a livello di programmazione con Notebook EMR, è necessario configurare le autorizzazioni utente con le policy seguenti:

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Sid": "AllowExecutionActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:StartNotebookExecution",
        "elasticmapreduce:DescribeNotebookExecution",
        "elasticmapreduce:ListNotebookExecutions"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "AllowPassingServiceRole",
      "Effect": "Allow",
      "Action": [
        "iam:PassRole"
      ],
      "Resource": [
        "arn:aws:iam::123456789012:role/EMR_Notebooks_DefaultRole"
      ]
    }
  ]
}

Quando esegui Notebook EMR a livello di programmazione su un cluster Notebook EMR, devi aggiungere queste autorizzazioni supplementari:

JSON
{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Sid": "AllowRetrievingManagedEndpointCredentials",
      "Effect": "Allow",
      "Action": [
        "emr-containers:GetManagedEndpointSessionCredentials"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ],
      "Condition": {
        "StringEquals": {
          "emr-containers:ExecutionRoleArn": [
            "arn:aws:iam::123456789012:role/emr-on-eks-execution-role"
          ]
        }
      }
    },
    {
      "Sid": "AllowDescribingManagedEndpoint",
      "Effect": "Allow",
      "Action": [
        "emr-containers:DescribeManagedEndpoint"
      ],
      "Resource": [
        "arn:aws:emr-containers:*:123456789012:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
      ]
    }
  ]
}

Limitazioni relative all'esecuzione a livello di programmazione

  • Sono supportate un massimo di 100 esecuzioni simultanee per account. Regione AWS

  • Un'esecuzione viene terminata se dura più di 30 giorni.

  • L'esecuzione programmatica dei notebook non è supportata con le applicazioni interattive di Amazon EMR serverless.

Esempi di esecuzione di notebook EMR a livello di programmazione

Le sezioni seguenti forniscono diversi esempi di esecuzione programmatica di notebook EMR con Boto3 SDK ( AWS CLI Python) e Ruby:

Puoi anche eseguire notebook parametrizzati nell'ambito dei flussi di lavoro pianificati con uno strumento di orchestrazione come Apache Airflow o Amazon Managed Workflows per Apache Airflow (MWAA). Per ulteriori informazioni, consulta Orchestrazione dei processi di analisi su Notebook EMR con MWAA nel blog AWS Big Data.