ログ分析

目次
uim901
log_analytics
目次
ビジネス上の課題
インフラストラクチャ モニタリングの新しいパラダイムに移行する際に重要な点は、インフラストラクチャのパフォーマンス問題に関するコンテキスト情報を迅速に提供することです。ログ データは、アプリケーションや IT インフラストラクチャにおける問題のトラブルシューティングを行うための重要な情報源です。しかし、個々のサーバにログインし、手動でログ ファイルを読み込んで関連情報を見つけるのは面倒な作業です。
解決策
ログ分析ではログ分析プロセスが合理化され、以下の機能によって迅速かつ効率的にトラブルシューティングを行うのに役立ちます。
  • 複数のソース(個別のサーバ、デバイス、アプリケーション)からログを収集および集約。分析ダッシュボードを使用してデータから洞察を得ることができます。
  • サポートされているログ タイプおよびパターンの収集データに基づいた標準装備ダッシュボードを提供。
  • すべての保存済みのログ ファイルに対して全文検索機能の提供。
  • 一元管理された場所から、すべてのログ データに対してほぼリアルタイムで履歴検索を実行
  • ログ データの定期的なクエリを実行し、一致が検出されたときに通知(アラーム、電子メール、および SNMP)を送信。  一致が見つかったときに通知を受け取るように、ログのクエリやパターンを保存してスケジュールすることもできます。
メリット
以下の表では、ログ分析のメリットを示しています。
メリット
説明
日常的なデータを使用して、より大きな問題を明らかにする
syslog データを使用して、以下の質問に対する答えを見つけることができます。
  • どのような種類のイベントが発生しているか。
  • イベントがいつ発生したか。
  • イベントがクラスタ内で発生しているか。
  • 発生しているイベントに偏りはあるか。
  • どのソースが最も多くのイベントを生成しているか。
  • どの重要イベントが最も頻繁に発生しているか。
  • セキュリティに関する問題は発生しているか。
  • どの重大度のトレンドが発生しているか。
ログから最初のメッセージをモニタする。
より大きな問題(メモリ不足メッセージなど)の徴候である可能性がある最初のメッセージをモニタできます。
値の急低下や急上昇をモニタする
さまざまなテクノロジ、アプリケーション、またはツール間でイベント レートの偏差を検出できます。
異常なレートの送信要求や、異常な URL アクセスを試行するユーザをモニタする。
設定可能な期間の syslog イベント、Windows イベント、およびログ情報をモニタする。
このデータを使用して、特定の期間のすべての情報を確認できます。
容量計画にログとパフォーマンス データを使用する。
ベースライン平均、ピーク ユーザ数、およびパフォーマンス メトリクスを記録して、容量の使用率を定義するのに役立てることができます。
ログ分析の例: 小売 Web サイトをモニタ
以下の図は、ログ分析で小売 Web サイトをモニタする例です。図中の各サービスは、別々のシステム/サーバです。
ログ分析 - ビジネス フロー パート 1
Log Analytics - Business Flow Part 1
以下の図は、通常の操作の過程で、製品の検索が遅くなる例です。
ビジネス ワークフロー パート 2
Business Workflow Part 2
以下の図では、ログ分析を使用して製品の検索に関する問題を検出し、解決する手順について説明しています。
ビジネス フロー パート 3
Business Flow Part 3
必要なコンポーネント
ログ分析には、Agile Operations Analytics Base Platform と CA UIM の両方および以下のプローブが必要です。
  • ログ転送(log_forwarder)
  • AXA ログ ゲートウェイ(axa_log_gateway)
  • ログ モニタリング サービス(log_monitoring_service)
以下の Agile Operations Analytics コンポーネントは、ログ分析に必須です。
  • Data Studio (Kibana ダッシュボード)
  • Kafka および Zookeeper
  • Jarvis (Elasticsearch と Jarvis Ingestion、Verifier、および Indexer コンポーネントを含む)
  • 読み取りサーバ、UI サーバ、および RDBMS
Data Studio
ログ分析の主要なユーザ インターフェースData Studio には、サポートされているログ タイプの標準装備ダッシュボード、全文検索、アドホック データ探索の機能があります。
ログ コレクタ
AXA ログ コレクタは、TCP(
デフォルト ポート: 6514
)経由でリモート デバイスから syslog および eventlog データを受信し、ログ パーサで処理するために、Kafka トピックにそのデータを書き込みます。ログ イベントを受信すると、ログ コレクタは、テナントのホワイトリストに基づいてログ メッセージ内のテナント ID を検証し、有効なログ データを Kafka トピックにパブリッシュします。TCP チャネルは、ログ エージェントをインストールせずに syslog および eventlog データを受信します。
Windows イベント ログも syslog チャネルを介して受信されます。オープン ソース ツールの nxlog を使用して、syslog チャネルを介してイベント ログを送信することができます。設定の詳細については、
Agile Operations Analytics Base Platform のドキュメントを参照してください。
ログ パーサ
ログ パーサは、Kafka からログ データを受信し、ログ データを解析して関連フィールドを抽出し、ログ データを JSON 形式に変換して Jarvis/Elasticsearch に送信します。サポートされている各ログ タイプで、データを解析して変換するために特定のパターンが定義されます。この設定は、設定ファイルに格納されます。
サポートされていないログ ファイル形式で送信されたデータは、「
generic
」の下に保存されます。Data Studio でこのデータを検索することができますが、ログ データの特定のフィールドは、汎用ログ タイプに抽出されません。また、標準装備ダッシュボードは利用できません。
CA Analytics Platform(Jarvis)
Jarvis は、ログ データを格納するデータストアおよび分析プラットフォームとして使用されます。Jarvis へのログの取り込みは、ログ パーサによって実行されます。ログ データの各タイプは、Jarvis で個別の document_type として格納されます。
ログ転送プローブ(log_forwarder)
小容量のログ データ収集エージェント。このコンポーネントはモニタ対象サーバまたはデバイス上のログ ファイルからログ データを読み取り、そのデータを CA UIM メッセージ バスを通して CA UIM キューにパブリッシュします。このプローブは、モニタリング設定サービス(MCS)を使用して展開および設定できます。設定の詳細については、プローブのドキュメント スペースにあるログ転送プローブのドキュメントを参照してください。
AXA ログ ゲートウェイ プローブ(axa_log_gateway)
axa_log_gateway プローブは特定のキュー(デフォルト件名: LOG_ANALYTICS_LOGS)を通して CA UIM からログ データを受信し、ログ パーサで処理するために、Kafka トピック(デフォルト: logAnalyticsLogs)にそのデータを書き込みます。詳細については、プローブのドキュメント スペースにある AXA ログ ゲートウェイ プローブのドキュメントを参照してください。
ログ モニタリング サービス プローブ(log_monitoring_service)
このコンポーネントは CA UIM プローブとして実装されているため、MCS またはアドミン コンソール(AC)を使用して設定できます。このプローブは、Jarvis に格納されているログ データに対して定期的にクエリを実行し、事前定義済みのクエリに基づいて通知を生成します。1 つまたは複数のプロファイルを作成することができます。各プロファイルに含まれているクエリは、特定のログ タイプおよび間隔で実行されます。
たとえば、Apache のアクセス ログに対して「response_time:[10 TO *] AND url:*ServiceDesk*」が 5 分間隔でスケジュールされたとします。モニタリング サービスは、事前定義済みのスケジュールで Jarvis の Elasticsearch コンポーネントにクエリを実行し、次の情報を出力します。
    • 一致する項目の数を示す Match_Count メトリクス
    • 一致する数が事前定義済みのしきい値を超えた場合のアラーム
    • 一致したログの行のサンプルが含まれるアラーム(サンプル行の数は設定可能)
ログ モニタリング サービスのアラームは、電子メールまたは SNMP トラップとして、それぞれ emailgtw または snmpgtw を使用して転送されます。詳細については、プローブのドキュメント スペースにあるログ モニタリング サービス
プローブのドキュメントを参照してください。
ポートの要件
CA UIM と Log Analytics の間の通信が行えるように以下のポートを開きます
  • AXA Elasticsearch ポート(デフォルト 9200)- このポートを、Agile Operations Base Platform と、log_monitoring_service プローブの場所の間で開きます
  • AXA Kafka ポート(デフォルト 9092)- このポートを、Agile Operations Base Platform と、axa_log_gateway プローブの場所の間で開きます。
ログ分析の展開
MCS に関連付けられているテンプレートを使用して、ログ分析を展開できます。
以下の手順に従います。
  1. 必要なすべてのプローブがアーカイブにダウンロードされていることを確認します。プローブのダウンロードの詳細については、「パッケージのダウンロード、更新、またはインポート」トピックを参照してください。
  2. 必要に応じて、ログ データを収集するデバイスのグループを作成します。グループの設定に関する詳細については、「OC でのグループの作成および管理」を参照してください。
  3. axa_log_gateway セットアップ
     MCS テンプレートを使用して、axa_log_gateway プローブを設定します。
  4. log_forwarder セットアップ
     MCS テンプレートを使用して、ターゲット デバイスに log_forwarder プローブを展開します。
  5. 以下の 1 つ以上の MCS テンプレートを使用して、ターゲット デバイスまたはサービスのログ転送を設定します。
    1. ログ転送
       - 任意のタイプのログ ファイルのログ転送を設定します。
    2. Apache のログの転送
       - Apache アクセス ログのログ転送を設定します。
    3. Log4j ログ転送
       - java log4j ログのログ転送を設定します。
    4. Catalina ログ転送
       - Tomcat Catalina ログのログ転送を設定します。
    5. Oracle アラート ログ転送
       - Oracle アラート ログのログ転送を設定します。
  6. log_monitoring_service セットアップ
    テンプレートを使用して、ロボット上で log_monitoring_service を設定します。
    プライマリ ハブ ロボットの使用を推奨します。
  7. ログ モニタリング サービス
     テンプレートを使用して、必要なプロファイルを作成します。このテンプレートを使用して、Jarvis に格納されているログ データにクエリを実行し、定義済みの基準に基づいてアラームを送信できます。
  8. オプション
    )アラームの発生時に電子メール通知を受信するように、
    電子メール ゲートウェイ(emailgtw)
    MCS テンプレートを設定します。
  9. オプション
    )アラームの発生時に SNMP 通知を受信するように、
    SNMP ゲートウェイ(snmpgtw)
    MCS テンプレートを設定します。
相互起動の設定
CA UIM アラームからログ分析ダッシュボードを起動する前に、相互起動を有効にする URL アクションを作成する必要があります。
カスタム URL アクションを起動するには、
[URL アクションの起動]
権限が ACL で設定されている必要があります。この権限では、アラームを選択して、
[アクション]
メニューからアラーム アクションを起動できます。
以下の手順に従います。
  1. OC で、
    [アラーム]
    ビューを選択します。
  2. アラームのリストまたはテーブルの上の[
    アクション
    ]メニューをクリックし、[URL アクションの編集
    ]をクリックします。
    [URL アクションの編集]
    ダイアログ ボックスが開きます。
  3. 新規 URL アクション
    ]をクリックします。「
    ログ分析
    」という名前を指定し、以下の URL を入力します。
    http://<server_host>:<server_port>/mdo/v2/dashboard/loganalytics?query="host:${host}"&timestamp=${TIME_LAST}&probe=${PROBE}&customAttributes='${CUSTOM_1}'
  4. URL 内の以下のパラメータを変更します。
相互起動を設定すると、UIM アラームごとに
[ログ分析開始]
アイコンが表示されます。このアイコンをクリックすると、ページ内に Agile Operations Analytics Base Platform ログが表示されます。ログイン後、Data Studio 内の
ログ分析
ダッシュボードにリダイレクトされます。URL に以下のコンテキスト内パラメータを渡すことができます。
  • ログ分析ダッシュボードは、log_monitoring_service プローブによって生成されたアラームから起動する
    - クエリ パラメータは、log_monitoring_service プロファイル設定で指定された値を使用します。
  • ログ分析ダッシュボードは、他のプローブによって生成されたアラームから起動する
    - クエリ パラメータは、UIM アラームのホスト値を使用します。
    アプリを登録していない場合、
    [ログ分析開始]
    アイコンをクリックすると、CA App Experience Analytics のアプリ登録ページにリダイレクトされます。
詳細
ログ分析を展開する方法の詳細については、以下のトピックを参照してください。