エージェントのトラブルシューティング

内容
apmdevops96jp
内容
Java エージェントがクラッシュする
問題の状況:
Java エージェントがクラッシュするか、ハングアップするか、オーバーヘッドまたは CPU 使用状況が高くなります。 
解決方法:
エージェントの問題の大部分は以下の原因によるものです。
  • サポートされていない設定
  • 8.x のエージェントに対するアーキテクチャの改善によって発生した既知のエージェントのメモリ オーバーヘッド
  • CA APM が監視のために Java プラットフォームのインスツルメンテーション メカニズムを使用して発覚した JVM のバグ
  • インスツルメンテーションまたはメトリックの急増
これらの問題のトラブル シューティングを行うには、以下を確認してください。
  • 最近何か更新しましたか?
  • CA プロフェッショナル サービスが実装したカスタムのインスツルメンテーションや拡張機能がありますか?
  • 設定はサポートされていますか?
  • Introscope エージェント 8.2 以降を使用している場合は、IntroscopeAgent.profile の introscope.agent.reduceAgentMemoryOverhead に true を設定します。
  • 以下の手順に従うことにより、その問題がインスツルメンテーションに関連するのか、または JVM のバグに関連するのかを判断します。
    1. アプリケーション サーバを停止します。
    2. IntroscopeAgent.profile を開き、introscope.autoprobe.enable=false を設定します。
    3. アプリケーション サーバを起動します。
      問題が解決しない場合、その問題は CA APM のインスツルメンテーションに関連するものではありません。 以下の解決方法を試してください。
      • -javaagent から -Xbootclasspath に切り替えてみます。
      • 最新の JVM バージョンにアップグレードするか、または別の JVM を使用します。
      • JVM ベンダーにサポート インシデントをオープンします。
  • その問題の原因を識別するのを助けるために、一時的にインスツルメンテーションの量を減らします。
    1. アプリケーション サーバを停止します。
    2. IntroscopeAgent.profile を開き、introscope.autoprobe.enable=true を設定します。
  • 一部のアプリケーション(特に SQL が動的にされる場合)では、大量の一意の SQL ステートメント文字列を使用します。 これによって SQL エージェント メトリックが急増します。 テストを行うには、
    <Agent_Home>
    /wily/core/ext/SQLAgent.jar をエージェント ディレクトリから削除して、 SQLAgent を無効にします。 これを実行できない場合は、introscope.agent.sqlagent.sql.maxlength=120 (デフォルト値は 990)を設定します。
    データベース自身が設定している制限以外に SQL ステートメントの長さに制限はありません。maxlength を使用すると SQL ステートメントの長さを切り捨てることができます。 これを行う目的は SQL メトリックの急増を防ぐことです。
  • プラットフォーム モニタを無効にします。 適切なプラットフォーム モニタ ファイルを /wily/ext ディレクトリから別のディレクトリに移動します。
  • toggles.PBD 内のネットワーク、ファイルシステム、およびシステム ファイル メトリック用のトレーサをオフにします。 実運用環境でこれらのメトリックを有効にすることは推奨されません。
    # TurnOn: SocketTracing # TurnOn: UDPTracing # TurnOn: FileSystemTracing
  • JMX の収集を無効にします。 多くの JMX メトリックをポーリングすると CPU に負荷がかかります。
    可能であれば、当面の間は introscope.agent.jmx.enable=false を設定しておきます。
    introscope.agent.jmx.name.filter= のように、フィルタ文字列に NULL を設定しないでください。
    フィルタを設定していない場合、1 つのエージェントは何万もの JMX メトリックを作成できます。
  • ErrorDetector、ChangeDetector、Leakhunter、またはその他の拡張機能など、Introscope エージェントの追加のアドオンを無効にします。
    Leakhunter は 24 時間 365 日対応する監視ツールではなく、診断ツールです。
    拡張機能は多くのメトリックを提供しますが、オーバーヘッドが高い多くのメトリックを生成します。
  • 追加のカスタム pbd を無効にします。
    TraceAllMethodsOfClass と TraceComplexMethodsOfClass のディレクティブの使用を避けます。
    監視するメソッドを慎重に選択します。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • <Agent_Home>
    /logs (zip ファイル形式)
  • IntroscopeAgent.profile
  • オーバーヘッド、メモリ不足(OOM)、ハングアップ、または CPU 使用率が高い状態が発生した場合に、5 ~ 10 秒間隔で、アプリケーション サーバに一連の 5 つのスレッド ダンプを生成します。
  • オーバーヘッドの場合には、heapdump を生成します。 Sun JVM の場合は、以下の JVM スイッチを追加します。
    XX:+HeapDumpOnOutOfMemoryError
  • GC ログを有効にします。 Sun JVM の場合は、以下の JVM スイッチを追加します。
    -Xloggc:<File_Name>.log -XX:+PrintGCDetails
  • アプリケーション サーバのログ ファイル
    • WebSphere: System.out、system.err.native_stdout、native_stderr、および server.xml
    • WebLogic: ログ ファイルおよびアプリケーション サーバの起動スクリプト
    • Tomcat: ログ ファイルおよび catalina.sh/bat
    • JBoss: ログ ファイルおよび run.bat/sh
  • 完全なコア ダンプ(該当する場合)
JMX ノードを有効にできない
問題の状況:
JMX ノードを有効にできません。
解決方法:
  • アプリケーション サーバのバージョンを特定し、バージョンが JMX と互換性があることを確認します。 JMX の収集は特定のアプリケーション サーバのみで利用可能です。
  • インストール手順を確認します。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • アプリケーション サーバ情報
    • 正確なバージョン
    • CA APM エントリが含まれる起動スクリプトまたは設定ファイル
    • ログ ファイル
    • server.xml でセキュリティを有効にしている WAS ユーザは、ポリシー ファイルも提供する
JMX カウンタが正しくレポートされない
問題の状況:
JMX カウンタが正しくレポートされません。
解決方法:
以下を確認してください。
  • この問題は特定のカウンタでのみ発生しますか?
  • カスタム カウンタを使用している場合は、デフォルトのエージェント プロファイルとを比較します。 テストが目的の場合は、デフォルトのフィルタを試してみます。
  • Enterprise Manager のログ ファイルを確認します。 問題はエージェント クランプである可能性があります。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • アプリケーション サーバ情報
    • 正確なバージョン
    • CA APM エントリが含まれる起動スクリプトまたは設定ファイル
    • ログ ファイル
  • その問題を示しているアプリケーション サーバの Introscope と JMX コンソールの両方のスクリーンショット
  • <
    Agent_Home>
    \logs (zip ファイル形式)
  • IntroscopeAgent.profile
  • <
    EM_Home
    >\logs (zip ファイル形式)
CA APM を使用したアプリケーションをインスツルメントできない
問題の状況:
CA APM を使用したアプリケーションをインスツルメントできません。
解決方法:
以下を確認してください。
  • appserver の起動スクリプトまたは設定ファイルのいずれかに、以下の 2 つのキー CA APM エントリが含まれている。
    -javaagent and -Dcom.wily.introscope.agentProfile=
  • \wily\logs の下にログ ファイルがあるかどうか。 ある場合は、Autoprobe.log を確認します。サイズが 0 KB または 1 KB である場合は、カスタムの pbd を使用しているか、既存の pbd のいずれかを誤って変更していることが考えられます。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • <
    Agent_Home
    >\logs (zip ファイル形式)
  • アプリケーション サーバのログ ファイル
  • CA APM エントリが含まれるアプリケーション サーバの起動スクリプトまたは設定ファイル
プラットフォーム モニタが機能しない
問題の状況:
プラットフォーム モニタが機能しません。
解決方法:
  • 設定がサポートされていることを確認します。
  • IntroscopeAgent.profile のプラットフォーム モニタ セクションで、プラットフォーム モニタ機能を直接有効にします。 特定のオペレーティング システムの # を削除します。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • エージェントログ ファイル内の DEBUG を有効にし、JVM を再起動します。 ログ内の例外によって、
    CA Support
    に、問題の根本原因に関する多くの情報が提供されます。 DEBUG ログを収集してから DEBUG 設定をオフにします。
  • IntroscopeAgent.profile
  • オペレーティング システム、アプリケーション サーバ、および JVM の正確なバージョン
EP エージェントが予期したとおりに機能しない
問題の状況:
EP エージェントは予期したとおりに機能しません。
解決方法:
  • EPAgent がメトリックをレポートしていない場合は、EPAgent プロパティ ファイルが正しい Enterprise Manager を指していていることを確認します。
  • カスタムの EPAgent スクリプトを使用している場合にこの問題が発生する場合は、「ディスク」などの EPAgent パッケージにバンドルされたプラグインの 1 つを使用して、その問題を再現できるかどうかを確認します。 問題がカスタム スクリプトを使用した場合のみに発生する場合は、CA プロフェッショナル サービスが作業を行う必要のある場合があります(
    CA Support
    ではコードのレビューは行いません)。
  • さらにその問題をトラブル シューティングするには、どの行が問題を引き起こしているかを確認できるまで、スクリプトを 1 行ずつ無効にする必要があります。
  • EPAgent プロパティ ファイルで DEBUG 用ログ記録を有効にし、発生する可能性のあるエラーを確認します。 メトリックが Enterprise Manager に送信されていることを示す行を確認しましたか?
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • <
    EM_Home
    >/log/* (zip ファイル形式)
  • EPAgent の DEBUG 用ログ ファイル
  • Introscope EPAgent プロパティ ファイル
  • Introscope およびオペレーティング システムの正確なバージョン
WebSphere をインスツルメントできない
問題の状況:
WebSphere をインスツルメントできません。
解決方法:
以下を確認してください。
  • server.xml ファイルで Java セキュリティが有効になっていることを確認します。 有効である場合は、「
    CA APM Java エージェント実装ガイド
    」で説明しているように、<
    WAS_Home
    >\properties\server.policy ファイルに適切な権限が含まれていることを確認します。
    ...<services xmi:type="applicationserver.webcontainer:SessionManager" xmi:id="SessionManager_1302014287319" enable="true" enableUrlRewriting="false" enableCookies="true" enableSSLTracking="false" enableProtocolSwitchRewriting="false" sessionPersistenceMode="NONE" enableSecurityIntegration="false
  • server.xml ファイルで、汎用 JVM 引数に 2 つの重要な CA APM エントリ(-javaagent および -Dcom.wily.introscope.agentProfile=)が含まれていることを確認します。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • server.xml
  • <
    Agent_Home
    >\log ファイル(zip ファイル形式)
  • WebSphere のログ ファイル: system.out、system.err.native_stdout、および native_stderr
CA APM for IBM WebSphere Application Server for Distributed Environments が動作しない
問題の状況:
CA APM for IBM WebSphere Application Server for Distributed Environments が動作しないか、ログ ファイルに例外をスローします。
解決方法:
インストール手順を確認し、各部分が正しい場所に配置されていることを確認します。
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • <
    Agent_Home
    >/logs/* および IntroscopeAgent.profile (zip ファイル形式)
  • アプリケーション サーバ ファイル: pmi-config.xml、sib-service.xml、および server.xml
  • WebSphere のログ ファイル: system.out、system.err.native_stdout、および native_stderr
CA APM for Oracle WebLogic Server が動作しない
症状
CA APM for Oracle WebLogic Server が動作していないか、または負の値を提供しています。
解決方法
以下を確認してください。
  • カスタムの PBD またはエージェント拡張機能を使用している場合は、それらをテスト目的で無効にします。 多くの場合、この問題の原因になるのはカスタム PBD またはエージェントの拡張機能です。
  • この問題は複数のメトリックに影響していますか?
CA サポートにお問い合わせになる前のデータ収集
前回の提案内容をご確認いただいた後も問題が解決されない場合は、CA サポートにお問い合わせになる前に、以下のデータを収集してください。 この情報は、CA サポートがお客様を効率的かつ効果的に支援するために役立ちます。
  • この問題を示す Investigator のスクリーンショット
  • <
    EM_Home
    >/logs/* (zip ファイル形式)
  • <
    Agent_Home
    >/logs/* および IntroscopeAgent.profile (zip ファイル形式)
  • <
    Agent_Home
    > ディレクトリ内のコンテンツのリスト。 このリストは、カスタム PBD があるかどうかを確認するのに役立ちます。
URLgrouping が動作しない
問題の状況:
URLgrouping が動作していません。
解決方法:
URLgrouping に関する既知の問題を確認します。 簡単な URLgrouping 定義を使用して、問題をテストします。
問題が解決されない場合、カスタマ サポートに問い合わせる前に、以下の情報を収集してください。
  • <
    EM_Home
    >/logs/* (zip ファイル形式)。これらのファイルは、この問題がパフォーマンスに関連するものかどうかを判断するのに役立ちます。
  • IntroscopeAgent.profile ファイル
  • 該当する URL の[Investigator]タブのスクリーン ショット
.NET のインストールの問題
問題の状況:
.NET エージェントをインストールできません。
解決方法:
以下の情報を確認します。
  • 設定がサポートされていることを確認します。 CLR とオペレーティング システムのバージョンは何ですか?
  • 以下の 3 つの環境変数が存在することを確認します。
    com.wily.introscope.agentProfile=<full path to the IntroscopeAgent.profile> Cor_Enable_Profiling=0x1 COR_PROFILER={5F048FC6-251C-4684-8CCA-76047B02AC98}
  • wily.Agent.dll が GAC (c:\windows\assembly)に存在し、この DLL が適切なバージョンであることを確認します。
  • アプリケーションを実行して、wily.Agent.dll、wily.NativeProfiler.dll の適切なバージョンが w3wp.exe プロセスに添付されていることを確認します。 確認を行うには、Process Explorer ユーティリティを使用します。 このツールをインストールできない場合は、「tasklist /m wily.NativeProfiler.dll」および「tasklist /m wily.Agent.dll」を使用します。
  • CA APM 9.0.x で エージェントを AutoProbe モードでインストールしている場合は、正しいバージョンの wily.Agent.dll、wily.AutoProbe.dll が w3wp.exe プロセスに添付されていることを確認します。 確認を行うには、Process Explorer ユーティリティを使用します。
  • wily ディレクトリに権限が付与されていることを確認します。 「WILY_AGENT\wilypermissions.exe <
    WILY_AGENT
    > <
    w3wp3.exe を所有するユーザ
    >」を実行します。
    注:
    CA APM 9.0.x で、エージェントが AutoProbe モードでインストールされており、「wily.AutoProbeConnector.dll」がロードされない場合は、以下のコマンドを使用して登録します。
    C:\WINDOWS\system32\regsvr32.exe <wily.install.dir>\bin\wily.AutoProbeConnector.dll
    wily.AutoProbeConnector.dll はロードされるが wily.AutoProbe.dll はロードされない場合には、以下のようにして wily.AutoProbe.dll を登録します。
    C:\WINDOWS\Microsoft.NET\Framework\<version>\RegAsm.exe <wily.install.dir>\bin\wily.AutoProbe.dll /codebase
    wily.NativeProfiler.dll の場合も同様です。
  • クリーン ブートで再起動して、古い設定のキャッシングをクリアします。
問題が解決されない場合、カスタマ サポートに問い合わせる前に、以下の情報を収集してください。
  • <
    Agent_Home
    >/logs/* および IntroscopeAgent.profile (zip ファイル形式)
  • Introscope_Agent_for_.NET_InstallLog.log (エージェントが実行可能ファイルによってインストールされた場合は、IntroscopeDotNetAgentInstall32.exe.log または IntroscopeDotNetAgentInstall64.exe.log)
  • MSI*.log (%TEMP% の場所から検索)
  • install_tasks.log
  • 環境変数のリスト
  • 以下に関する結果
    • systeminfo コマンド
    • iisreset/status
    • tasklist/svc、tasklist/m、tasklist/v、tasklist/m wily.AutoProbe.dll、tasklist/m wily.NativeProfiler.dll、および tasklist/m wily.Agent.dll。 これらのコマンドは、Web アプリケーションを実行してから実行してください。
    • cacls <
      .NET エージェント ディレクトリ
      >
.NET インストールのメモリ オーバーヘッド/CPU の使用率が高い
問題の状況:
.NET ではインストールのメモリ オーバーヘッドまたは CPU の使用率が高くなります。
解決方法:
以下を確認してください。
  • 環境内で何か変更しましたか?
  • バージョン 9.1 より前の Introscope 9.x を使用しており、ネイティブ プロファイルのインスツルメンテーションを使用していル場合には、Autoprobe インスツルメンテーションを使用してこの問題をテストしてください。
  • 該当する場合、追加のカスタム インスツルメンテーションを無効にします。
  • 該当する場合、Leakhunter を無効にします。
  • toggles-typical.pbd または toggles-typical.pbd で以下のトレース オプションをオフにします。
    ServicedComponentTracing RemotingClientProxyTracing DirectoryServicesTracing MessagingTracing MessagingTransactionTracing
  • 9.0.x エージェントを使用している場合、収集の実行を無効にし、introscope.agent.perfmon.enable=false を設定します(複数の Web アプリケーションがある場合は、各ノードでのメトリックの実行が同じになるように注意してください)。 これが不可能である場合、当面の間は introscope.agent.perfmon.metric.limit を 100 に変更します。
  • いくつかの重み付けの大きい Blame ポイントのトレーサをオフにしてそのまま必要なメトリックを収集すると、問題のバックエンドのトラブル シューティングに役立ちます。
    SQLAgentDataReaders SQLAgentTransactions
お問い合わせになる前のデータ収集 -
CA Support
前回の提案内容をご確認いただいた後も問題が解決されない場合は、
CA Support
にお問い合わせになる前に、以下のデータを収集してください。 この情報は、
CA Support
がお客様を効率的かつ効果的に支援するのに役立ちます。
  • IntroscopeAgent.profile
  • 冗長モードの IntroscopeAgent.log
  • Native Profiler のログ
  • 「systeminfo」コマンドの結果。
  • 「tasklist /svc」、「tasklist /m」、「tasklist /v」、「tasklist /m wily.AutoProbe.dll」、「tasklist /m wily.NativeProfiler.dll」、および「tasklist /m wily.Agent.dll」の結果。
  • オペレーティング システムの正確なバージョン、bitmode。
エージェントがコレクタにランダムに接続する
問題の状況:
最近アップグレードを行いました。 IntroscopeAgent.profile で特定のコレクタに接続するように設定されているエージェントが、クラスタ内のほかのコレクタにランダムに接続します。
解決方法:
バージョン 9.1 以降では、コレクタが過負荷になったときに、MOM がバージョン 8.x と 9.x のすべてのエージェントを切断およびリダイレクトして、クラスタの負荷を再分散できるようになりました。 MOM は、重み付けプロパティと loadbalancing.xml を使用して負荷分散を制御します。 MOM によるエージェントの切断およびリダイレクトを回避するには、loadbalancing.xml でエージェントからコレクタへの接続を定義します。