Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Ejemplos de Python para Managed Service para Apache Flink
En los siguientes ejemplos se muestra cómo crear aplicaciones escritas en Python.
nota
La mayoría de los ejemplos están diseñados para ejecutarse tanto de manera local, en la máquina de desarrollo y el IDE que prefiera, como en Amazon Managed Service para Apache Flink. En ellos se muestra el sencillo mecanismo que se puede utilizar para transferir los parámetros de la aplicación y cómo configurar la dependencia de manera correcta para ejecutar la aplicación en ambos entornos sin cambios.
Dependencias de proyectos
La mayoría de los PyFlink ejemplos requieren una o más dependencias como archivos JAR, por ejemplo, para los conectores Flink. Luego, estas dependencias se deben empaquetar con la aplicación cuando se desplieguen en Amazon Managed Service para Apache Flink.
Los siguientes ejemplos ya incluyen las herramientas que le permiten ejecutar la aplicación de manera local para el desarrollo y las pruebas, y para empaquetar correctamente las dependencias necesarias. Esta herramienta requiere el uso de Java JDK11 y Apache Maven. Consulte el archivo README que se incluye en cada ejemplo para obtener instrucciones específicas.
Ejemplos
En este ejemplo se muestra la estructura básica de una PyFlink aplicación que utiliza SQL embebido en código Python. Este proyecto también proporciona un esquema para cualquier PyFlink aplicación que incluya dependencias JAR, como conectores. La sección README proporciona una guía detallada sobre cómo ejecutar su aplicación Python de manera local para el desarrollo. El ejemplo también muestra cómo incluir una única dependencia JAR, el conector SQL de Kinesis de este ejemplo, en la aplicación. PyFlink
Ejemplo de código: GettingStarted
Este ejemplo muestra cómo añadir dependencias de Python a tu PyFlink aplicación de la forma más general. Este método funciona para dependencias simples, como Boto3, o dependencias complejas que contienen bibliotecas de C, como. PyArrow
Ejemplo de código: PythonDependencies
En este ejemplo, se muestran cuatro tipos de agregación de ventanas en SQL incrustado en una aplicación de Python.
-
Ventana deslizante basada en el tiempo de procesamiento
-
Ventana deslizante basada en la hora del evento
-
Ventana de saltos de tamaño constante basada en el tiempo de procesamiento
-
Ventana de saltos de tamaño constante basada en la hora del evento
Ejemplo de código: Windowing
En este ejemplo, se muestra cómo escribir el resultado en Amazon S3 como archivos JSON, mediante SQL integrado en una aplicación de Python. Debe habilitar puntos de control para que el receptor de S3 escriba y rote archivos en Amazon S3.
Ejemplo de código: S3Sink
En este ejemplo se muestra cómo definir una función definida por el usuario, implementarla en Python y utilizarla en código SQL que se ejecuta en una aplicación de Python.
Ejemplo de código: UDF
En este ejemplo se muestra cómo enviar datos a Amazon Data Firehose mediante SQL.
Ejemplo de código: FirehoseSink
