Monitoreo de sistemas de archivos de FSx en ONTAP mediante Harvest y Grafana - FSx para ONTAP

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Monitoreo de sistemas de archivos de FSx en ONTAP mediante Harvest y Grafana

Harvest de NetApp es una herramienta de código abierto para recopilar métricas de rendimiento y capacidad de los sistemas de ONTAP y es compatible con FSx para ONTAP. Puede usar Harvest con Grafana como una solución de supervisión de código abierto.

Introducción a Harvest y Grafana

En la siguiente sección, se detalla cómo puede configurar Harvest y Grafana para medir el rendimiento y la utilización de la capacidad de almacenamiento del sistema de archivos de FSx para ONTAP.

Puede monitorizar su sistema de archivos de Amazon FSx para NetApp ONTAP mediante Harvest y Grafana. NetApp Harvest monitorea los centros de datos de ONTAP a recopilar métricas de rendimiento, capacidad y hardware de los sistemas de archivo de FSx para ONTAP. Grafana proporciona un panel de control en el que se pueden mostrar las métricas recopiladas de Harvest.

Paneles de Harvest compatibles

Amazon FSx para NetApp ONTAP expone un conjunto de métricas diferente al de las instalaciones de NetApp ONTAP. Por lo tanto, actualmente solo se admiten los siguientes paneles de Harvest listos para usar etiquetados con fsx para usarse con FSx para ONTAP. Es posible que a algunos de los paneles de estos paneles les falte información que no es compatible.

  • Harvest: metadatos

  • ONTAP: agregado

  • ONTAP: cDOT

  • ONTAP: clúster

  • ONTAP: Conformidad

  • ONTAP: centro de datos

  • ONTAP: protección de datos

  • ONTAP: LUN

  • ONTAP: red

  • ONTAP: nodo

  • ONTAP: qtree

  • ONTAP: Seguridad

  • ONTAP: SnapMirror

  • ONTAP: destinos de SnapMirror

  • ONTAP: fuentes de SnapMirror

  • ONTAP: SVM

  • ONTAP: Volumen

  • ONTAP: volumen de la SVM

  • ONTAP: análisis profundo del volumen

Los siguientes paneles de Harvest son compatibles con FSx para ONTAP, pero no están habilitados de forma predeterminada en Harvest.

  • ONTAP: FlexCache

  • ONTAP: FlexGroup

  • ONTAP: clientes NFS

  • ONTAP: Monitores NFSv4 Storepool

  • ONTAP: solución de problemas de NFS

  • ONTAP: espacios de nombres NVMe

  • ONTAP: SMB

  • ONTAP: carga de trabajo

Paneles de control de Harvest no compatibles

FSx para ONTAP no admite los siguientes paneles de Harvest.

  • ONTAP: disco

  • ONTAP: operación de servicio externo

  • ONTAP: Análisis de sistemas de archivos (FSA)

  • ONTAP: margen de maniobra

  • ONTAP: estado

  • ONTAP: solicitud de MAV

  • ONTAP: MetroCluster

  • ONTAP: potencia

  • ONTAP: estante

  • ONTAP: almacenes de objetos S3

CloudFormationPlantilla de

Para empezar, puede implementar una plantilla CloudFormation que lance automáticamente una instancia de Amazon EC2 que ejecute Harvest y Grafana. Como entrada a la plantilla CloudFormation, debe especificar el fsxadmin usuario y el punto de conexión de administración de Amazon FSx para el sistema de archivos, que se añadirán como parte de esta implementación. Una vez completada la implementación, puede iniciar sesión en el panel de control de Grafana para monitorear su sistema de archivos.

Esta solución se utiliza CloudFormation para automatizar la implementación de las soluciones Harvest y Grafana. La plantilla crea una instancia de Linux Amazon EC2 e instala el software Harvest y Grafana. Para usar esta solución, descargue la plantilla fsx-ontap-harvest-grafana.template CloudFormation.

nota

La implementación de esta solución implica la facturación de los servicios AWS asociados. Para más información, consulte las páginas de precios de estos servicios.

Tipos de instancias de Amazon EC2

Al configurar la plantilla, debe proporcionar el tipo de instancia de Amazon EC2. La recomendación de NetApp para el tamaño de la instancia depende del número de sistemas de archivos que supervise y del número de métricas que decida recopilar. Con la configuración predeterminada, para cada 10 sistemas de archivos que supervise, NetApp recomienda:

  • CPU: 2 núcleos

  • Memoria: 1 GB

  • Disco: 500 MB (utilizado principalmente por archivos de registro)

A continuación, se muestran algunos ejemplos de configuraciones y el tipo de instancia t3 que puede elegir.

Sistemas de archivos CPU Disk Tipo de instancia

Menos de 10

2 núcleos

500 MB

t3.micro

De 10 a 40

4 núcleos

1000 MEGABYTE

t3.xlarge

40+

8 núcleos

2000 MB

t3.2xlarge

Para obtener más información sobre los tipos de instancia de Amazon EC2, consulte Instancias de uso general en la guía del usuario de Amazon EC2.

Reglas de puertos de instancias

Al configurar la instancia de Amazon EC2, asegúrese de que los puertos 3000 y 9090 estén abiertos para el tráfico entrante del grupo de seguridad en el que se encuentra la instancia Harvest y Grafana de Amazon EC2. Como la instancia que se inicializa se conecta a un punto de conexión a través de HTTPS, debe resolver el punto de conexión, que necesita el puerto 53 TCP/UDP para el DNS. Además, para llegar al punto de conexión, necesita el puerto 443 TCP para HTTPS y el acceso a Internet.

Procedimiento de implementación

El siguiente procedimiento configura e implementa la solución Harvest/Grafana. Tarda aproximadamente cinco minutos en implementarse. Antes de empezar, debe tener un sistema de archivos de FSx para ONTAP que se ejecute en una Amazon Virtual Private Cloud (Amazon VPC) en su cuenta AWS y la información de los parámetros de la plantilla que se indica a continuación. Para obtener más información sobre la creación de un sistema de archivos, consulte Creación de sistemas de archivos.

Cómo iniciar la pila de soluciones Harvest/Grafana
  1. Descargue la plantilla fsx-ontap-harvest-grafana.template. CloudFormation Para obtener más información sobre la creación de pilas CloudFormation, consulte Crear pilas en la consola AWS CloudFormation en la Guía del usuario de AWS CloudFormation.

    nota

    De forma predeterminada, esta plantilla se inicia en la región Este de EE. UU. (Norte de Virginia) de AWS. Debe lanzar esta solución en un Región de AWS donde Amazon FSx esté disponible. Para obtener más información, consulte Puntos finales y cuotas de Amazon FSx en Referencia general de AWS.

  2. En el caso de los Parámetros, revise los parámetros de la plantilla y modifíquelos para adaptarlos a las necesidades de su sistema de archivos. Esta solución utiliza los siguientes valores predeterminados.

    Parámetro Predeterminado/a Descripción
    InstanceType t3.micro

    El tipo de instancia de Amazon EC2. A continuación se muestran los tipos de instancias t3.

    • t3.micro

    • t3.small

    • t3.medium

    • t3.large

    • t3.xlarge

    • t3.2xlarge

    Para ver la lista completa de los valores de tipo de instancia de Amazon EC2 permitidos para este parámetro, consulte fsx-ontap-harvest-grafana.template.

    KeyPair Sin valor predeterminado El par de claves que se usa para obtener acceso a la instancia de Amazon EC2.
    SecurityGroup Sin valor predeterminado El ID del grupo de seguridad de la instancia de Harvest/Grafana. Corrobore que los puertos de entrada 3000 y 9090, además de los puertos 53 y 443, estén abiertos desde los clientes que desea usar para acceder al panel de control de Grafana.
    Tipo de subred Sin valor predeterminado Especifique el tipo de subred, ya sea public o private. Utiliza una subred public para los recursos que deban conectarse a Internet y una subred privada para los recursos que no vayan a conectarse a Internet. Para obtener más información, consulte Tipos de subred en la Guía del usuario de Amazon VPC.
    Subred Sin valor predeterminado Especifique la misma subred que su sistema de archivos de Amazon FSx para NetApp ONTAP de la subred preferida del sistema de archivos. Puede encontrar el ID de Subred preferido del sistema de archivos en la consola de Amazon FSx, en la pestaña Red y seguridad de la página de detalles del sistema de archivos de FSx for ONTAP
    El AMIID de Linux más reciente /aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2 Es la última versión de la AMI de Amazon Linux 2 en un Región de AWS dado.
    FSXpunto de conexión Sin valor predeterminado La dirección IP del punto de conexión de administración del sistema de archivos. Puede encontrar la dirección IP del punto de conexión de administración del sistema de archivos en la consola de Amazon FSx, en la pestaña Administración de la página de detalles del sistema de archivos de FSx for ONTAP.
    Nombre secreto Sin valor predeterminado AWS Secrets Manager nombre secreto que contiene la contraseña del usuario fsxadmin del sistema de archivos. Es la contraseña que proporcionó al crear el sistema de archivos.
  3. Elija Siguiente.

  4. En Opciones, elija Siguiente.

  5. En la página Revisar, revise y confirme la configuración. Debe seleccionar la casilla de verificación que reconoce que la plantilla crea recursos IAM.

  6. Elija Crear para implementar la pila.

Puede ver el estado de la pila en la consola de CloudFormation en la columna Estado. Debería ver el estado CREATE_COMPLETE en aproximadamente cinco (5) minutos.

Iniciar sesión en Grafana

Una vez finalizada la implementación, utilice su navegador para iniciar sesión en el panel de control de Grafana en la IP y el puerto 3000 de la instancia de Amazon EC2:

http://EC2_instance_IP:3000

Cuando se le solicite, utilice el nombre de usuario (admin) y la contraseña (pass) predeterminados de Grafana. Le recomendamos que cambie la contraseña en cuanto inicie sesión.

Para obtener más información, consulte la página de NetApp Harvest en GitHub.

Solución de problemas de Harvest y Grafana

Si le falta algún dato mencionado en los paneles de Harvest y Grafana o si tiene problemas para configurar Harvest y Grafana con FSx para ONTAP, consulte los siguientes temas para encontrar una posible solución.

Los paneles de SVM y de volumen están en blanco

Si la pila de CloudFormation se implementó correctamente y puede ponerse en contacto con Grafana, pero los paneles de SVM y volumen están en blanco, use el siguiente procedimiento para solucionar los problemas del entorno. Necesitará acceso SSH a la instancia de Amazon EC2 en la que se implementan Harvest y Grafana.

  1. Use SSH en la instancia de Amazon EC2 en la que se ejecutan los clientes de Harvest y Grafana.

    [~]$ ssh ec2-user@ec2_ip_address
  2. Use el siguiente comando para abrir el archivo harvest.yml y haga lo siguiente

    • Compruebe que se haya creado una entrada para la instancia de FSx para ONTAP como Cluster-2.

    • Compruebe que las entradas de nombre de usuario y contraseña coincidan con las credenciales de fsxadmin.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /home/ec2-user/harvest_install/harvest/harvest.yml
  3. Si el campo de contraseña está en blanco, abra el archivo en un editor y actualícelo con la contraseña de fsxadmin, de la siguiente manera:

    [ec2-user@ip-ec2_ip_address ~]$ sudo vi /home/ec2-user/harvest_install/harvest/harvest.yml
  4. Corrobore que las credenciales de usuario fsxadmin se almacenen en Secrets Manager con el siguiente formato para futuras implementaciones y sustituya fsxadmin_password por su contraseña.

    {"username" : "fsxadmin", "password" : "fsxadmin_password"}

La pila de CloudFormation se revirtió tras agotarse el tiempo de espera

Si no puede implementar la pila de CloudFormation correctamente y se está revirtiendo con errores, use el siguiente procedimiento para resolver el error. Necesitará acceso SSH a la instancia de EC2 implementada por la pila de CloudFormation.

  1. Vuelva a implementar la pila de CloudFormation y corrobore que la reversión automática esté deshabilitada.

  2. Use SSH en la instancia de Amazon EC2 en la que se ejecutan los clientes de Harvest y Grafana.

    [~]$ ssh ec2-user@ec2_ip_address
  3. Compruebe que los contenedores de Docker se hayan iniciado correctamente mediante el siguiente comando.

    [ec2-user@ip-ec2_ip_address ~]$ sudo docker ps

    En la respuesta, debería ver cinco contenedores de la siguiente manera:

    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b9b3f2085ef rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Restarting (1) 20 seconds ago harvest_cluster-2 3cf3e3623fde rahulguptajss/harvest "bin/poller --config…" 8 minutes ago Up About a minute harvest_cluster-1 708f3b7ef6f8 grafana/grafana "/run.sh" 8 minutes ago Up 8 minutes 0.0.0.0:3000->3000/tcp harvest_grafana 0febee61cab7 prom/alertmanager "/bin/alertmanager -…" 8 minutes ago Up 8 minutes 0.0.0.0:9093->9093/tcp harvest_prometheus_alertmanager 1706d8cd5a0c prom/prometheus "/bin/prometheus --c…" 8 minutes ago Up 8 minutes 0.0.0.0:9090->9090/tcp harvest_prometheus
  4. Si los contenedores de Docker no se están ejecutando, compruebe si hay errores en el archivo /var/log/cloud-init-output.log de la siguiente manera.

    [ec2-user@ip-ec2_ip_address ~]$ sudo cat /var/log/cloud-init-output.log PLAY [Manage Harvest] ********************************************************** TASK [Gathering Facts] ********************************************************* ok: [localhost] TASK [Verify images] *********************************************************** failed: [localhost] (item=prom/prometheus) => {"ansible_loop_var": "item", "changed": false, "item": "prom/prometheus", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} failed: [localhost] (item=prom/alertmanager) => {"ansible_loop_var": "item", "changed": false, "item": "prom/alertmanage r", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"} failed: [localhost] (item=rahulguptajss/harvest) => {"ansible_loop_var": "item", "changed": false, "item": "rahulguptajs s/harvest", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetEr ror(104, 'Connection reset by peer'))"} failed: [localhost] (item=grafana/grafana) => {"ansible_loop_var": "item", "changed": false, "item": "grafana/grafana", "msg": "Error connecting: Error while fetching server API version: ('Connection aborted.', ConnectionResetError(104, 'Co nnection reset by peer'))"} PLAY RECAP ********************************************************************* localhost : ok=1 changed=0 unreachable=0 failed=1 skipped=0 rescued=0 ignored=0
  5. Si hay errores, ejecute los siguientes comandos para implementar los contenedores de Harvest y Grafana.

    [ec2-user@ip-ec2_ip_address ~]$ sudo su [ec2-user@ip-ec2_ip_address ~]$ cd /home/ec2-user/harvest_install [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml [ec2-user@ip-ec2_ip_address ~]$ /usr/local/bin/ansible-playbook manage_harvest.yml --tags api
  6. Valide que los contenedores se hayan iniciado correctamente ejecutando sudo docker ps y conectándose a la URL de Harvest y Grafana.