`AWSSupport-DiagnoseEMRLogsWithAthena`

Descripción

El AWSSupport-DiagnoseEMRLogsWithAthena manual ayuda a diagnosticar los registros de Amazon EMR mediante Amazon Athena en integración con Data Catalog. AWS Glue Amazon Athena sirve para consultar los archivos de registro de Amazon EMR que corresponden a contenedores, registros de nodos o ambos. Se pueden aplicar parámetros opcionales para intervalos de fechas específicos o búsquedas basadas en palabras clave.

El manual puede recuperar automáticamente la ubicación del registro de Amazon EMR de un clúster existente o puede especificar la ubicación del registro de Amazon S3. Para analizar los registros, el libro de ejecución:

Crea una AWS Glue base de datos y ejecuta las consultas del lenguaje de definición de datos (DDL) de Amazon Athena en la ubicación de registro de Amazon S3 de Amazon EMR para crear tablas para los registros de clústeres y una lista de problemas conocidos.
Ejecuta consultas en el lenguaje de manipulación de datos (DML) para buscar patrones de problemas conocidos en los registros de Amazon EMR. Las consultas devuelven una lista de los problemas detectados, su número de ocurrencias y el número de palabras clave coincidentes por ruta de archivo de Amazon S3.
Los resultados se cargan en un bucket de Amazon S3 que especifique bajo el prefijosaw_diagnose_EMR_known_issues.
El manual muestra los resultados de las consultas de Amazon Athena y destaca los hallazgos, las recomendaciones y las referencias a los artículos del Amazon Knowledge Center (KC) procedentes de un subconjunto predefinido.
En caso de finalización o error, se eliminan la AWS Glue base de datos y los archivos de problemas conocidos cargados en el bucket de Amazon S3.

¿Cómo funciona?

AWSSupport-DiagnoseEMRLogsWithAthenaAnalicen los registros de Amazon EMR con Amazon Athena para detectar errores y destacar los hallazgos, las recomendaciones y los artículos relevantes del Knowledge Center.

El manual lleva a cabo los siguientes pasos:

Obtenga la ubicación del registro del clúster de Amazon EMR con el ID del clúster o introduzca la ubicación de Amazon S3 para recuperar la ubicación y el tamaño del registro.
Proporcione una estimación de los costos de Athena en función del tamaño de la ubicación del registro.
Obtenga la aprobación para continuar solicitando la aprobación de los directores de IAM designados antes de ejecutar las consultas de Athena y continuar con los pasos siguientes.
Sube los problemas conocidos al bucket de Amazon S3 especificado y crea una AWS Glue base de datos y tablas.
Ejecute las consultas de Athena en los datos de registro de Amazon EMR. Las consultas pueden buscar por intervalo de fechas, palabras clave o ambos criterios, o ejecutarse sin filtros en función de las entradas proporcionadas.
Analice los resultados para destacar los hallazgos, las recomendaciones y los artículos relevantes de KC.
Enlaces de salida para los resultados de las consultas DML de Amazon Athena.
Limpie el entorno eliminando las bases de datos creadas, las tablas y los problemas conocidos cargados.

Tipo de documento

Automatización

Propietario

Amazon

Plataformas

El AutomationAssumeRole parámetro requiere las siguientes acciones para utilizar correctamente el runbook:

Atenea: GetQueryExecution
atenea: StartQueryExecution
atenea: GetPreparedStatement
atenea: CreatePreparedStatement
pegamento: GetDatabase
pegamento: CreateDatabase
pegamento: DeleteDatabase
pegamento: CreateTable
pegamento: GetTable
pegamento: DeleteTable
Elastic Map Reduce: DescribeCluster
s3: ListBucket
s3: GetBucketVersioning
s3: ListBucketVersions
s3: GetBucketPublicAccessBlock
s3: GetBucketPolicyStatus
s3: GetObject
s3: GetBucketLocation
precios: GetProducts
precios: GetAttributeValues
precios: DescribeServices
precios: ListPriceLists

importante

Para restringir el acceso únicamente a los recursos que necesita esta automatización, adjunte la siguiente política a la función de IAM que confía en el servicio SSM. Sustituya la partición, la región y la cuenta por los valores adecuados para la partición, la región y el número de cuenta en los que se ejecuta el libro de ejecución.

JSON


{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:DescribeCluster",
                "glue:GetDatabase",
                "athena:GetQueryExecution",
                "athena:StartQueryExecution",
                "athena:GetPreparedStatement",
                "athena:CreatePreparedStatement",
                "s3:ListBucket",
                "s3:GetBucketVersioning",
                "s3:ListBucketVersions",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketPolicyStatus",
                "s3:GetObject",
                "s3:GetBucketLocation",
                "pricing:GetProducts",
                "pricing:GetAttributeValues",
                "pricing:DescribeServices",
                "pricing:ListPriceLists"
            ],
            "Resource": "*"
        },
        {
            "Sid": "RestrictPutObjects",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/results/*",
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Sid": "RestrictDeleteAccess",
            "Effect": "Allow",
            "Action": [
                "s3:DeleteObject",
                "s3:DeleteObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::*/*/saw_diagnose_emr_known_issues/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:CreateDatabase",
                "glue:DeleteDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:userDefinedFunction/saw_diagnose_emr_database_*/*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:DeleteTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_known_issues",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/saw_diagnose_emr_logs_table",
                "arn:aws:glue:us-east-1:111122223333:table/saw_diagnose_emr_database_*/j_*",
                "arn:aws:glue:us-east-1:111122223333:database/saw_diagnose_emr_database_*",
                "arn:aws:glue:us-east-1:111122223333:catalog"
            ]
        }
    ]
}

Instrucciones

Siga estos pasos para configurar la automatización:

Navega AWSSupport-DiagnoseEMRLogsWithAthena en la AWS Systems Manager sección Documentos.
Elija Execute automation (Ejecutar automatización).
Para los parámetros de entrada, introduzca lo siguiente:
- AutomationAssumeRole (Opcional):
  
  El nombre de recurso de Amazon (ARN) del rol AWS Identity and Access Management (IAM) que permite a Systems Manager Automation realizar las acciones en su nombre. Si no se especifica ningún rol, Systems Manager Automation utiliza los permisos del usuario que comienza este manual de procedimientos.
- ID de clúster (obligatorio):
  
  El ID del clúster de Amazon EMR.
- S3LogLocation (Opcional):
  
  La ubicación del registro de Amazon EMR de Amazon S3. Introduzca la Path-style URL de la ubicación de Amazon S3, por ejemplo:s3://amzn-s3-demo-bucket/myfolder/j-1K48XXXXXXHCB/. Proporcione este parámetro si el clúster de Amazon EMR ha estado cerrado durante más de 30 días.
- S3BucketName (Obligatorio):
  
  El nombre del bucket de Amazon S3 para cargar una lista de problemas conocidos y el resultado de las consultas de Amazon Athena. El bucket debe tener activado el bloqueo del acceso público y estar en la misma AWS región y cuenta que el clúster de Amazon EMR.
- Autorizadores (obligatorio):
  
  La lista de directores AWS autenticados que pueden aprobar o rechazar la acción. Puede especificar los principales mediante cualquiera de los siguientes formatos: nombre de usuario, ARN de usuario, ARN de rol de IAM o ARN de rol de IAM asumido. El número máximo de aprobadores es 10.
- FetchNodeLogsOnly (Opcional):
  
  Si se establece entrue, la automatización diagnostica los registros de los contenedores de aplicaciones de Amazon EMR. El valor predeterminado es false.
- FetchContainersLogsOnly(Opcional):
  
  Si se establece entrue, la automatización diagnostica los registros de los contenedores de Amazon EMR. El valor predeterminado es false.
- EndSearchDate (Opcional):
  
  La fecha de finalización de las búsquedas en los registros. Si se proporciona, la automatización buscará exclusivamente los registros generados hasta la fecha especificada en el formato YYYY-MM-DD (por ejemplo:2024-12-30).
- DaysToCheck (Opcional):
  
  Cuando EndSearchDate se proporciona, este parámetro es necesario para determinar el número de días necesarios para buscar retrospectivamente los registros del especificadoEndSearchDate. El valor máximo es de 30 días. El valor predeterminado es 1.
- SearchKeywords (Opcional):
  
  La lista de palabras clave para buscar en los registros, separadas por comas. Las palabras clave no pueden contener comillas simples o dobles.
Seleccione Ejecutar.
Se inicia la automatización.
Este documento realiza los siguientes pasos:
- obtenerLogLocation:
  
  Recupera la ubicación del registro de Amazon S3 consultando el ID de clúster de Amazon EMR especificado. Si la automatización no puede consultar la ubicación del registro desde el ID de clúster de Amazon EMR, el libro de operaciones utiliza el parámetro de entrada. S3LogLocation
- sucursal: OnValidLog
  
  Verifica la ubicación de los registros de Amazon EMR. Si la ubicación es válida, proceda a estimar los posibles costos de Amazon Athena al ejecutar consultas en los registros de Amazon EMR.
- estimación: AthenaCosts
  
  Determina el tamaño de los registros de Amazon EMR y proporciona una estimación del costo de ejecutar los escaneos de Athena en el conjunto de datos de registros. Para las regiones no comerciales (sin AWS particiones), este paso solo proporciona el tamaño del registro sin estimar los costos. Los costes se pueden calcular utilizando la documentación de precios de Athena en la región especificada.
- Aprobar la automatización:
  
  Espera la aprobación del director de IAM designado para continuar con los siguientes pasos de la automatización. La notificación de aprobación contiene el coste estimado del escaneo de Amazon Athena en los registros de Amazon EMR y detalles sobre los recursos que está aprovisionando la automatización.
- subir: KnownIssuesExecuteAthenaQueries
  
  Carga los problemas conocidos predefinidos al bucket de Amazon S3 especificado en el S3BucketName parámetro. Crea AWS Glue bases de datos y tablas. Ejecuta las consultas de Amazon Athena en la AWS Glue base de datos en función de los parámetros de entrada.
- obtiene: QueryExecutionStatus
  
  Espera hasta que la ejecución de la consulta de Amazon Athena esté en SUCCEEDED estado. La consulta DML de Amazon Athena busca errores y excepciones en los registros de clústeres de Amazon EMR.
- analizar: AthenaResults
  
  Analiza los resultados de Amazon Athena para proporcionar hallazgos, recomendaciones y artículos del Knowledge Center (KC) procedentes de un conjunto predefinido de mapeos.
- obtenga: AnalyzeResultsQuery1ExecutionStatus
  
  Espera hasta que la ejecución de la consulta esté en SUCCEEDED estado. La consulta DML de Amazon Athena analiza los resultados de la consulta DML anterior. Esta consulta de análisis devolverá excepciones coincidentes con resoluciones y artículos de KC.
- obtenerAnalyzeResultsQuery2ExecutionStatus:
  
  Espera hasta que la ejecución de la consulta esté en SUCCEEDED estado. La consulta DML de Amazon Athena analiza los resultados de la consulta DML anterior. Esta consulta de análisis devolverá una lista de los datos exceptions/errors detectados en cada ruta de registro de Amazon S3.
- imprimirAthenaQueriesMessage:
  
  Imprime los enlaces para los resultados de las consultas DML de Amazon Athena.
- Recursos de limpieza:
  
  Clean-ups recursos mediante la eliminación de la AWS Glue base de datos creada y la eliminación de los archivos de problemas conocidos que se crearon en el bucket de registros de Amazon EMR.
Una vez finalizada, consulte la sección Resultados para ver los resultados detallados de la ejecución:
La salida proporciona tres enlaces para los resultados de las consultas de Athena:
- Lista de todos los errores y excepciones frecuentes que se encuentran en los registros del clúster de Amazon EMR, junto con las ubicaciones de registro correspondientes (prefijo de Amazon S3).
- Resumen de las excepciones conocidas únicas que coinciden en los registros de Amazon EMR, junto con las resoluciones recomendadas y los artículos de KC para ayudar a solucionar problemas.
- Detalles sobre dónde aparecen errores y excepciones específicos en las rutas de registro de Amazon S3, para facilitar un diagnóstico más detallado.

Referencias

Automatización de Systems Manager

AWS documentación de servicio

Consulte Solución de problemas de clústeres de Amazon EMR para obtener más información

Aviso JavaScript está desactivado o no está disponible en su navegador.

Para utilizar la documentación de AWS, debe estar habilitado JavaScript. Para obtener más información, consulte las páginas de ayuda de su navegador.

Convenciones del documento

AWSSupport-AnalyzeEMRLogs

Servicio Amazon OpenSearch