Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Sviluppo di connettori personalizzati
Puoi scrivere il codice che legge o scrive i dati nel datastore e formatta i dati per l'utilizzo con i processi AWS Glue Studio. Puoi creare connettori per datastore Spark, Athena e JDBC. Il codice di esempio pubblicato su GitHub fornisce una panoramica delle interfacce di base da implementare.
Per creare il codice del connettore è necessario un ambiente di sviluppo locale. Puoi usare qualsiasi IDE o anche solo un editor della riga di comando per scrivere il connettore. Esempi di ambienti di sviluppo includono:
-
Un ambiente Scala locale con una libreria Maven ETL AWS Glue locale, come descritto in Sviluppo in locale con Scala nella Guida per gli sviluppatori di AWS Glue .
-
IntelliJ IDE, scaricando l'IDE da. https://www.jetbrains.com/idea/
Argomenti
Sviluppo dei connettori Spark
Puoi creare un connettore Spark con Spark DataSource API V2 (Spark 2.4) per leggere i dati.
Per creare un connettore Spark personalizzato
Sviluppo di connettori Athena
Puoi creare un connettore Athena utilizzabile da AWS Glue e AWS Glue Studio per eseguire query su un'origine dati personalizzata.
Per creare un connettore Athena personalizzato
Sviluppo di connettori JDBC
Puoi creare un connettore che utilizza JDBC per accedere ai datastore.
Per creare un connettore JDBC personalizzato
-
Installa le librerie runtime Spark AWS Glue nel tuo ambiente di sviluppo locale. Fate riferimento alle istruzioni nella libreria di AWS Glue GitHub esempio all'indirizzo https://github.com/aws-samples/aws-glue-samples/tree/master/GlueCustomConnectors/development/GlueSparkRuntime/README.md.
-
Implementa il driver JDBC responsabile del recupero dei dati dall'origine dati. Fai riferimento alla documentazione Java
per Java SE 8. Crea un punto di ingresso all'interno del tuo codice che AWS Glue Studio utilizza per individuare il connettore. Il campo Class name (Nome classe) dovrebbe essere il percorso completo del driver JDBC.
-
Usa l'API
GlueContextper leggere i dati con il connettore. Se necessario, gli utenti possono aggiungere altre opzioni di input nella console AWS Glue Studio per configurare la connessione all'origine dati. Per un esempio di codice che mostra come leggere e scrivere su un database JDBC con un connettore JDBC personalizzato, vedete Valori Custom e ConnectionType. Marketplace AWS
Esempi di utilizzo di connettori personalizzati con AWS Glue Studio
Fai riferimento ai seguenti blog per esempi di utilizzo di connettori personalizzati:
-
Sviluppo, test e implementazione di connettori personalizzati per gli archivi dati con AWS Glue
-
Apache Hudi: Scrittura in tabelle Apache Hudi usando il connettore personalizzato AWS Glue
-
Google BigQuery: migrazione dei dati da Google BigQuery ad Amazon S3 AWS Glue
tramite connettori personalizzati -
Snowflake (JDBC): Esecuzione di trasformazione dati con Snowflake e AWS Glue
-
SingleStore: Creazione di un sistema ETL rapido utilizzando e SingleStore AWS Glue
Salesforce: inserisci i dati di Salesforce in Amazon S3 utilizzando il connettore personalizzato JDBC
con - CData AWS Glue -
MongoDB: Creazione di processi AWS Glue Spark ETL con Amazon DocumentDB (con compatibilità MongoDB) e MongoDB
-
Amazon Relational Database Service (Amazon RDS): crea offerte di lavoro AWS Glue Spark ETL introducendo i tuoi driver JDBC
per Amazon RDS
AWS GlueSviluppo di connettori per Marketplace AWS
In qualità di AWS partner, puoi creare connettori personalizzati e caricarli su Marketplace AWS per venderli ai AWS Glue clienti.
Il processo per lo sviluppo del codice del connettore è lo stesso dei connettori personalizzati, ma il processo di caricamento e verifica del codice del connettore è più dettagliato. Consulta le istruzioni contenute nella sezione Creazione di connettori Marketplace AWS
