Análise de log

Índice
uim901
log_analytics
Índice
Desafio de negócios
À medida que avançamos para o próximo paradigma de monitoramento da infraestrutura, é importante que forneçamos mais contexto sobre os problemas de desempenho da infraestrutura o mais rapidamente possível. Os dados de log são uma importante fonte de informações para solucionar problemas nos aplicativos ou na infraestrutura de TI. Entretanto, é difícil efetuar logon em servidores individuais e ler os arquivos de log manualmente para encontrar as informações relevantes.
Solução
A análise de log otimiza o processo de análise de log e o ajuda a solucionar problemas mais rapidamente e com mais eficiência:
  • Coletando e agregando logs de várias fontes (servidores individuais, dispositivos e aplicativos). Você pode obter uma visão geral dos dados usando os painéis de análise.
  • Fornecendo painéis prontos para uso (planos estratégicos) com base nos dados coletados para os tipos de log e padrões suportados.
  • Fornecendo uma pesquisa de texto completo em todos os arquivos de log armazenados.
  • Executando pesquisas históricas e quase em tempo real em todos os dados de log a partir de um local centralizado.
  • Executando uma consulta periódica aos dados de log e enviando notificações (alarme, email e snmp) quando forem encontradas correspondências. Você também pode salvar e programar uma consulta de log ou um padrão para receber notificações quando uma correspondência for encontrada.
Benefícios
A tabela a seguir inclui alguns dos benefícios da análise de log.
Benefício
Explicação
Use dados de rotina para expor problemas maiores.
Você pode usar os dados de syslog para responder às seguintes perguntas:
  • Que tipos de eventos estão ocorrendo?
  • Quando o evento aconteceu?
  • Os eventos estão acontecendo em agrupamentos?
  • Existe algum desvio nos eventos que estão ocorrendo?
  • Quais fontes estão gerando a maioria dos eventos?
  • Quais são os principais eventos que estão acontecendo com mais frequência?
  • Há problemas de segurança ocorrendo?
  • Quais tendências de gravidade estão ocorrendo?
Monitore mensagens que surgirem pela primeira vez nos logs.
Você pode monitorar mensagens iniciais que possam indicar o surgimento de problemas maiores no futuro (por exemplo, mensagens de memória insuficiente).
Monitorar picos e quedas
Você pode detectar desvios na taxa de eventos ocorridos em tecnologias, aplicativos ou ferramentas.
Monitorar taxas incomuns de solicitações de saída e usuários que estejam tentando obter um acesso incomum de URL.
Monitore eventos de syslog, eventos do Windows e informações de log durante um intervalo de tempo configurável.
É possível usar esses dados para ver todas as informações em um intervalo de tempo.
Use os logs e dados de desempenho para o planejamento de capacidade.
É possível registrar a média da linha de base, os usuários de pico e as métricas de desempenho para ajudar a definir a utilização da capacidade.
Exemplo de análise de log: monitorar um site de varejo
No diagrama a seguir, a análise de log monitora um site de varejo. Cada serviço no diagrama é um sistema/servidor separado:
Análise de log - Fluxo de negócios, parte 1
Log Analytics - Business Flow Part 1
No diagrama a seguir, a pesquisa de produto se torna lenta no decorrer das operações normais.
Fluxo de trabalho de negócios, parte 2
Business Workflow Part 2
O diagrama a seguir lista as etapas que devem ser executadas para que a análise de log detecte e solucione o problema com a pesquisa de produto.
Fluxo de negócios, parte 3
Business Flow Part 3
Componentes necessários
A Análise de log requer o Agile Operations Analytics Base Platform, o CA UIM e os seguintes probes:
  • Encaminhador de logs (log_forwarder)
  • Gateway de log AXA (axa_log_gateway)
  • Serviço de monitoramento de log (log_monitoring_service)
Os seguintes componentes do Agile Operations Analytics são obrigatórios para a Análise de log:
  • Dados Studio (painéis Kibana)
  • Kafka e Zookeeper
  • Jarvis (inclui os componentes Elasticsearch, Jarvis Ingestion, Verificador e Indexador)
  • Servidor de leitura, servidor de UI e RDBMS
Data Studio
Principal interface do usuário da análise de log. O Data Studio também fornece painéis prontos para uso para os tipos de log suportados, pesquisa de texto completo e exploração de dados ad-hoc.
Coletor de logs
O coletor de logs AXA recebe os dados de syslog e eventlog de dispositivos remotos por meio de TCP (
porta padrão: 6514
) e grava esses dados em um tópico do Kafka para processamento adicional pelo analisador de logs. Depois de receber os eventos de log, o Coletor de logs valida a ID do inquilino na mensagem de log com base na lista de itens aprovados do inquilino e publica os dados de log válidos no tópico do Kafka.O canal TCP recebe os dados de syslog e eventlog sem instalar nenhum agente de log.
Os logs de eventos do Windows também são recebidos por meio do canal de syslog. Você pode usar a ferramenta de código aberto nxlog para enviar logs de eventos por meio do canal de syslog.Para obter mais informações sobre configuração, consulte a documentação do
Agile Operations Analytics Base Platform.
Analisador de logs
O analisador de logs recebe os dados de log do Kafka, os analisa, extrai os campos relevantes, transforma os dados de log no formato JSON e os envia ao Jarvis/Elasticsearch.Para cada tipo de log suportado, padrões específicos são definidos para analisar e transformar os dados. Essa configuração é armazenada nos arquivos de configuração.
Os dados enviados em qualquer formato de arquivo de log não suportado são armazenados em
genérico
. É possível pesquisar esses dados no Data Studio, mas os campos específicos dos dados de log não são extraídos para o tipo de log genérico. E os painéis prontos para uso não estarão disponíveis.
CA Analytics Platform (Jarvis)
O Jarvis é usado como repositório de dados e a plataforma analítica para armazenar os dados de log. Inclusão de logs no Jarvis é feita pelo analisador de logs. Cada tipo de dado do log é armazenado como um document_type separado no Jarvis.
Probe Encaminhador de logs (log_forwarder)
Um agente de coleta de dados de log leve. Esse componente lê os dados de log dos arquivos de log nos servidores monitorados ou dispositivos e publica os dados em uma fila do CA UIM (assunto padrão: LOG_ANALYTICS_LOGS) por meio do barramento de mensagens do CA UIM. Você pode implantar e configurar esse probe usando o MCS (Monitoring Configuration Service - Serviço de Configuração de Monitoramento).Para obter mais informações sobre configuração, consulte a documentação do probe Encaminhador de logs, no espaço da documentação de probes.
Probe Gateway de log AXA (axa_log_gateway)
O probe axa_log_gateway recebe dados de log do CA UIM por meio de uma fila específica (assunto padrão: LOG_ANALYTICS_LOGS) e grava os dados no tópico Kafka (padrão: logAnalyticsLogs) para processamento adicional pelo Analisador de logs. Para obter mais informações, consulte a documentação do probe Gateway de log AXA, no espaço da documentação de probes.
Probe Serviço de monitoramento de logs (log_monitoring_service)
Este componente é implementado como um probe do CA UIM e pode ser configurado por meio do MCS ou do AC (Admin Console - Console de Administração). Este probe faz consultas periódicas aos dados de log armazenados no Jarvis e gera notificações de acordo com as consultas predefinidas.Você pode criar um ou mais perfis. Cada perfil inclui uma consulta a ser executada para um tipo de log específico e o intervalo.
Por exemplo, "response_time:[10 TO *] AND url:*ServiceDesk*" para os logs de acesso do Apache está programado para ser executado a cada 5 minutos.O Serviço de monitoramento consulta o componente Elasticsearch no Jarvis na programação pré-definida e fornece a seguinte saída:
    • A métrica Match_Count para a contagem de correspondências encontradas
    • Um alarme, se a contagem de correspondências exceder um limite predefinido
    • Alarmes contendo linhas de amostra do log que apresentaram correspondências (o número de linhas de amostra é configurável)
Os alarmes do serviço de monitoramento de logs podem ser enviados como email ou SNMP TRAP por meio do probe emailgtw ou snmpgtw, respectivamente.Para obter mais informações, consulte a documentação do probe Serviço de monitoramento de logs
, no espaço da documentação de probes.
Requisitos de porta
Abra as seguintes portas para permitir a comunicação entre o CA UIM e a Análise de log
  • Porta do Elasticsearch AXA (padrão 9200) - abra essa porta entre o Agile Operations Base Platform e o local do probe log_monitoring_service
  • Porta Kafka AXA (padrão 9092) - abra essa porta entre o Agile Operations Base Platform e o local do probe axa_log_gateway
Implantar a análise de logs
Você pode implantar a análise de logs por meio dos modelos associados no MCS.
Siga estas etapas:
  1. Verifique se todos os probes necessários foram baixados para o seu arquivo. Para obter mais informações sobre como baixar probes, consulte o tópico Baixar, atualizar ou importar pacotes.
  2. Se necessário, crie grupos para os dispositivos dos quais deseja coletar dados de log. Para obter mais informações sobre como configurar grupos, consulte o tópico Criar e gerenciar grupos no OC.
  3. Configure o probe axa_log_gateway usando o modelo 
    Configurar axa_log_gateway
    do MCS.
  4. Implante o probe log_forwarder em seus dispositivos de destino usando o modelo 
    Configurar log_forwarder
    do MCS.
  5. Configure o encaminhamento de logs para seus dispositivos de destino ou serviços usando um ou mais dos seguintes modelos do MCS:
    1. Encaminhamento de log
       - configure o encaminhamento de logs para qualquer tipo de arquivo de log.
    2. Encaminhamento de logs do Apache
       - configure o encaminhamento dos logs de acesso do Apache.
    3. Encaminhamento de log Log4j
       - configure o encaminhamento dos logs do Java log4j.
    4. Encaminhamento de logs do Catalina
       - configure o encaminhamento de logs do Tomcat Catalina.
    5. Encaminhamento de logs do Oracle Alert
       - configure o encaminhamento dos logs do Oracle Alert.
  6. Configure o log_monitoring_service em um robô usando o modelo 
    Configurar log_monitoring_service
    .
    É recomendável o uso do robô do hub principal.
  7. Crie os perfis desejados usando o modelo 
    Serviço de monitoramento de logs
    . Você pode usar esse modelo para consultar os dados de log armazenados no Jarvis e enviar alarmes com base nos critérios definidos.
  8. (Opcional)
    Configure o modelo
    Gateway de email (emailgtw)
    do MCS para receber notificações por email quando ocorrerem alarmes.
  9. (Opcional)
    Configure o modelo
    Gateway SNMP (snmpgtw)
    do MCS para receber notificações de SNMP quando ocorrerem alarmes.
Configurar a inicialização cruzada
Antes que possa iniciar o painel de análise de logs a partir de um alarme do CA UIM, você deverá criar uma ação de URL para ativar a inicialização cruzada.
Para iniciar uma ação de URL personalizada, é necessário ter a permissão de ACL
Iniciar ações do URL
definida. Com essa permissão, é possível selecionar um alarme e, em seguida, iniciar uma ação de alarme pelo menu
Ações
.
Siga estas etapas:
  1. No OC, selecione a exibição
    Alarmes
    .
  2. Clique no menu
    Ações
    acima da lista ou tabela de alarmes e, em seguida, em
    Editar
    ações do URL
    . A caixa de diálogo
    Editar ações do URL
    é exibida.
  3. Selecione
    Nova ação do URL
    . Especifique o nome da
    Análise de log
     e digite o seguinte URL:
    http://<server_host>:<server_port>/mdo/v2/dashboard/loganalytics?query="host:${host}"&timestamp=${TIME_LAST}&probe=${PROBE}&customAttributes='${CUSTOM_1}'
  4. Altere os seguintes parâmetros no URL:
Após a configuração da inicialização cruzada, o ícone
Log Analytics Launch
será exibido em cada alarme do UIM. Clicar nesse ícone abre o log do Agile Operations Analytics Base Platform na página. Após efetuar logon, você será redirecionado para o painel
Análise de log
do Data Studio. Os seguintes parâmetros de contexto podem ser passados no URL:
  • O painel Análise de log é iniciado a partir de um alarme gerado pelo probe log_monitoring_service
    - o parâmetro de consulta usa o valor fornecido na configuração do perfil log_monitoring_service.
  • O painel Análise de log é iniciado a partir de um alarme gerado por qualquer outro probe
    - o parâmetro de consulta usa o valor do host do alarme do UIM.
    Caso não tenha registrado seu aplicativo, clicar no ícone de
    inicialização da análise de log
    irá redirecionar você para a página de registro do aplicativo no CA App Experience Analytics.
Mais informações
Para obter mais informações sobre a implantação da Análise de log, consulte os seguintes tópicos: