Análisis de registros

Contenido
uim901
log_analytics
Contenido
Reto empresarial
A medida que se avanza hacia un nuevo paradigma de monitorización de la infraestructura, es importante proporcionar contexto a los problemas de rendimiento de la infraestructura en un período de tiempo lo más corto posible. Los datos de registro son una fuente importante de información para solucionar los problemas de las aplicaciones o de la infraestructura de TI. Sin embargo, resulta incómodo iniciar sesión en los diferentes servidores y leer los archivos de registro manualmente para encontrar la información relevante.
Solución
El Análisis de registros agiliza el proceso de análisis de registros y ayuda a solucionar los problemas de forma más rápida y eficaz:
  • La recopilación y la adición de registros desde varias fuentes (servidores individuales, dispositivos y aplicaciones). Se puede obtener información de los datos mediante los cuadros de mandos de análisis.
  • Los cuadros de mandos listos para su uso (planes) que se proporcionan en función de los datos recopilados para los tipos de registro y los patrones compatibles.
  • La búsqueda de texto completo que se proporciona en todos los archivos de registro almacenados.
  • La realización de búsquedas históricas y prácticamente en tiempo real en todos los datos de registro desde una ubicación centralizada.
  • La realización de una consulta periódica de los datos de registro y el envío de notificaciones (alarma, correo electrónico o SNMP) cuando se encuentran coincidencias. También se puede guardar y programar una consulta o patrón de registro para recibir notificaciones cuando se encuentra una coincidencia.
Ventajas
La siguiente tabla incluye algunas de las ventajas del Análisis de registros.
Ventaja
Explicación
Uso de los datos rutinarios para exponer los problemas de mayor gravedad.
Se pueden utilizar los datos del registro syslog para responder a las preguntas siguientes:
  • ¿Qué tipos de eventos se están produciendo?
  • ¿Cuando se produjo el evento?
  • ¿Los eventos se producen en los clústeres?
  • ¿Hay cualquier tipo de desviación en los eventos que se están produciendo?
  • ¿Qué fuentes están generando el mayor número de eventos?
  • ¿Qué eventos clave están produciéndose con mayor frecuencia?
  • ¿Se están produciendo problemas de seguridad?
  • ¿Qué tendencias de severidad se están desarrollando?
Monitorización de los mensajes que aparecen por primera vez en los registros.
Se pueden monitorizar los mensajes iniciales que potencialmente pueden predecir problemas más graves (por ejemplo, mensajes de memoria baja).
Monitorización de caídas y picos.
Se pueden detectar desviaciones en la tasa de eventos de las tecnologías, aplicaciones o herramientas.
Monitorización de una tasa inusual de solicitudes salientes y de intentos de acceso a la URL inusuales por parte de los usuarios.
Monitorización de los eventos de syslog, de los eventos de Windows y de la información de registro durante un período de tiempo configurable.
Se pueden utilizar estos datos para ver toda la información durante un intervalo de tiempo.
Uso de registros y datos de rendimiento para la planificación de la capacidad.
Se pueden registrar el promedio de la línea de referencia, los picos de usuarios y la métrica de rendimiento para ayudar a definir la utilización de la capacidad.
Ejemplo del Análisis de registros: monitorización de un sitio web de venta al por menor
En el siguiente diagrama, el Análisis de registros monitoriza un sitio web de venta al por menor. Cada servicio del diagrama es un sistema o servidor independiente:
Log Analytics: flujo de negocios parte 1
Log Analytics - Business Flow Part 1
En el siguiente diagrama, la búsqueda de productos se vuelve lenta durante el funcionamiento normal.
Flujo de trabajo de negocios parte 2
Business Workflow Part 2
El siguiente diagrama enumera los pasos que se pueden utilizar para que el Análisis de registros pueda detectar y solucionar la incidencia con la búsqueda de productos.
Flujo de negocios parte 3
Business Flow Part 3
Componentes requeridos
Log Analytics requiere la Agile Operations Analytics Base Platform, CA UIM y las sondas siguientes:
  • Reenviador del registro (log_forwarder)
  • Puerta de enlace del registro de AXA (axa_log_gateway)
  • Servicio de monitorización de registros (log_monitoring_service)
Los siguientes componentes de Agile Operations Analytics son obligatorios para el análisis de registros:
  • Datos Studio (cuadros de mandos Kibana)
  • Kafka y Zookeeper
  • Jarvis (incluye Elasticsearch y los componentes Jarvis Ingestion, Verifier e Indexer)
  • Read Server, UI Server y RDBMS
Data Studio
Interfaz de usuario principal para el Análisis de registros. Data Studio proporciona cuadros de mandos listos para su uso para los tipos de registro compatibles, búsqueda de texto completo y exploración de datos adhoc.
Recopilador de registros
El Recopilador de registros de AXA recibe los datos de syslog y eventlog de los dispositivos remotos a través de TCP (
puerto predeterminado: 6514
) y escribe los datos en un tema Kafka para el procesamiento posterior por el Analizador de registros. Después de recibir los eventos del registro, el Recopilador de registros valida el ID de cliente en el mensaje de registro en función de una lista blanca de clientes y publica los datos de registro válidos en el tema Kafka.El canal TCP recibe los datos de syslog y eventlog sin necesidad de instalar ningún agente de registro.
Los registros de eventos de Windows también se reciben a través del canal de syslog. Se puede utilizar nxlog, una herramienta de código abierto, para enviar los registros de eventos a través del canal de syslog.Para obtener más información, consulte la
documentación de Agile Operations Analytics Base Platform.
Analizador de registros
El Analizador de registros recibe los datos de registro de Kafka, los analiza, extrae los campos relevantes, transforma los datos de registro en el formato JSON y los envía a Jarvis/Elasticsearch.Para cada tipo de registro compatible, se definen patrones específicos para analizar y transformar los datos. Esta configuración se almacena en los archivos de configuración.
Los datos enviados en cualquier formato de archivo de registro no compatible se almacenan en
genérico
. Se pueden buscar estos datos en Data Studio pero no se extraen los campos específicos de los datos de registro para el tipo de registro genérico. Y los cuadros de mandos listos para su uso no están disponibles.
CA Analytics Platform (Jarvis)
Jarvis se utiliza como plataforma de análisis y almacén de datos para almacenar los datos de registro. El Analizador de registros realiza la ingesta de registros para Jarvis. Cada tipo de datos de registro se almacena como un document_type independiente en Jarvis.
Sonda de reenviador del registro (log_forwarder)
Un agente de recopilación de datos de registro ligero. Este componente lee los datos de registro de los archivos de registro que se encuentran en los servidores o dispositivos monitorizados y publica los datos en una cola de CA UIM (asunto predeterminado: LOG_ANALYTICS_LOGS) a través del Bus de mensajes de CA UIM. Esta sonda se puede implementar y configurar mediante el servicio de configuración de la monitorización (MCS).Para obtener más información sobre la configuración, consulte la documentación de la sonda Reenviador del registro en el espacio de documentación de las sondas.
Sonda de puerta de enlace del registro de AXA (axa_log_gateway)
La sonda axa_log_gateway recibe los datos de registro de CA UIM a través de una cola específica (asunto predeterminado: LOG_ANALYTICS_LOGS) y escribe los datos en el tema Kafka (valor predeterminado: logAnalyticsLogs) para el procesamiento posterior por el Analizador de registros. Para obtener más información, consulte la documentación de la sonda de puerta de enlace del registro de AXA en el espacio de documentación de las sondas.
Sonda de servicio de monitorización de registros (log_monitoring_service)
Este componente se implementa como una sonda de CA UIM y se puede configurar mediante el servicio de configuración de la monitorización o la Consola de administración. Esta sonda realiza consulta periódicas de datos de registro almacenados en Jarvis y genera notificaciones basadas en las consultas predefinidas.Se pueden crear uno o más perfiles. Cada perfil incluye una consulta que se ejecutará para un tipo de registro e intervalo específicos.
Por ejemplo, se puede emitir la consulta "response_time:[10 TO *] AND url:*ServiceDesk*" para los registros de acceso de apache programados cada cinco minutos.El servicio de monitorización consulta al componente Elasticsearch en Jarvis según la programación predefinida y proporciona la salida siguiente:
    • La métrica Match_Count para el recuento de coincidencias encontradas
    • Una alarma cuando el número de coincidencias excede un umbral predefinido
    • Alarmas que contienen muestra de líneas de registros con coincidencias (número de líneas configurables de muestra)
Las alarmas del servicio de monitorización de registros se pueden reenviar como correos electrónicos o mensajes SNMP mediante la sonda emailgtw o la sonda snmpgtw, respectivamente.Para obtener más información, consulte la documentación de la sonda de servicio de monitorización de registros
en el espacio de documentación de las sondas.
Requisitos del puerto
Abra los siguientes puertos para permitir la comunicación entre CA UIM y el Análisis de registros:
  • Puerto de AXA Elasticsearch (valor predeterminado 9200): Abra este puerto entre Agile Operations Base Platform y la ubicación de la sonda log_monitoring_service.
  • Puerto de AXA Kafka (valor predeterminado 9092): Abra este puerto entre Agile Operations Base Platform y la ubicación de la sonda axa_log_gateway.
Implementación del análisis de registros
El análisis de registros se puede implementar mediante las plantillas asociadas del servicio de configuración de la monitorización.
Siga los pasos siguientes:
  1. Verifique que todas las sondas requeridas se han descargado en el archivo de archivado. Para obtener más información sobre la descarga de las sondas, consulte el tema Descarga, actualización o importación de paquetes.
  2. Si es necesario, cree grupos para los dispositivos de los que desea que se recopilen datos de registro. Para obtener más información sobre la configuración de grupos, consulte el tema Creación y gestión de grupos en la OC.
  3. Configure la sonda axa_log_gateway mediante la plantilla del servicio de configuración de la monitorización 
    Configuración de axa_log_gateway
    .
  4. Implemente la sonda log_forwarder en los dispositivos de destino mediante la plantilla del servicio de configuración de la monitorización
    Configuración de la sonda log_forwarder
    .
  5. Configure el reenvío de registros para los dispositivos de destino o los servicios a través de una o varias de las plantillas del servicio de configuración de la monitorización siguientes:
    1. Reenvío de registros:
      Configure el reenvío de registros para cualquier tipo de archivo de registro.
    2. Reenvío de registros de Apache:
      Configure el reenvío de registros para los registros de acceso de Apache.
    3. Reenvío de registros de Log4j:
      Configure el reenvío de registros para los registros de Java Log4j.
    4. Reenvío de registros de Catalina:
       Configure el reenvío de registros para los registros de Tomcat Catalina.
    5. Reenvío de registros de alertas de Oracle:
      Configure el reenvío de registros para los registros de Oracle Alert.
  6. Configure log_monitoring_service en un robot mediante la plantilla 
    Configuración de log_monitoring_service
    .
    Se recomienda utilizar el robot del concentrador principal.
  7. Cree los perfiles deseados mediante la plantilla 
    Servicio de monitorización de registros
    . Se puede utilizar esta plantilla para consultar los datos de registro que se almacenan en Jarvis y enviar las alarmas en función de los criterios definidos.
  8. (Opcional)
    Configure la plantilla del servicio de configuración de la monitorización
    Puerta de enlace del correo electrónico (emailgtw)
    para recibir notificaciones por correo electrónico cuando se produzcan alarmas.
  9. (Opcional)
    Configure la plantilla del servicio de configuración de la monitorización
    Puerta de enlace SNMP (snmpgtw)
    para recibir notificaciones SNMP cuando se produzcan alarmas.
Configuración del inicio cruzado
Antes de poder iniciar el cuadro de mandos Log Analytics (Análisis de registros) desde una alarma de CA UIM, se debe crear una acción de dirección URL para activar el inicio cruzado.
Para iniciar una acción de dirección URL personalizada, se debe establecer el permiso de la lista de control de acceso
Iniciar acciones de la URL
. Mediante este permiso, se puede seleccionar una alarma y, a continuación, iniciar una acción de alarma desde el menú
Acciones
.
Siga los pasos siguientes:
  1. En la OC, seleccione la vista
    Alarmas
    .
  2. Haga clic en el menú
    Acciones
    que se encuentra encima de la lista o tabla de alarmas y, a continuación, seleccione
    Editar
    acciones de la URL
    . Se abre el cuadro de diálogo
    Editar acciones de la URL
    .
  3. Haga clic en
    Nueva acción de la URL
    . Especifique el nombre del
    análisis de registros
    e introduzca la dirección URL siguiente:
    http://<server_host>:<server_port>/mdo/v2/dashboard/loganalytics?query="host:${host}"&timestamp=${TIME_LAST}&probe=${PROBE}&customAttributes='${CUSTOM_1}'
  4. Cambie los parámetros siguientes en la dirección URL:
Después de configurar el inicio cruzado, aparecerá el icono
Log Analytics Launch (Inicio del análisis de registros)
para cada alarma de UIM. Al hacer clic en este icono se abre el registro de Agile Operations Base Platform en la página. Después de iniciar sesión, se le redirige al cuadro de mandos
Análisis de registros
en Data Studio. Se pueden pasar los siguientes parámetros en contexto a la dirección URL:
  • El cuadro de mandos Log Analytics (Análisis de registros) se inicia desde una alarma generada por la sonda log_monitoring_service:
    El parámetro de consulta utiliza el valor proporcionado en la configuración del perfil log_monitoring_service.
  • El cuadro de mandos Log Analytics (Análisis de registros) se inicia desde una alarma generada por cualquier otra sonda:
    El parámetro de consulta utiliza el valor del host de la alarma de UIM.
    Si no ha registrado la aplicación, hacer clic en el icono
    Log Analytics Launch
    (Inicio del análisis de registros) le redirige a la página de registro de la aplicación en CA App Experience Analytics.
Más información
Para obtener más información sobre la implementación del análisis de registros, consulte los temas siguientes: