検出サーバーのメモリの決定および設定
ワークフローの最後の手順は、実行時にインデックスを処理するために必要なメモリの容量を決定することです。この計算を実行する最も簡単な方法は、実行した計算を 2 倍にしてデータソースにインデックスを付けるために必要なメモリの量を決定することです。インデックスをロードするために必要なメモリの容量に結果を足します。次に、この数値を利用し、検出サーバーのファイルリーダーのメモリを調整します。
インデックス付けのメモリ要件を決定するで、インデックスを処理するために検出サーバで必要な追加メモリを計算するための処理を説明しています。
ステップ | 処理 | 説明 |
|---|---|---|
1 | インデックスの複数トークンセルの数を数えます。 | データソースの行またはレコードの合計数に複数トークン列の数を掛けます。 たとえば、インデックスに行が 100,000,000 あり、インデックスの 5 列のうちの 3 列に複数トークン値が含まれる場合、複数トークンセルの見積数は 300,000,000 です。 |
2 | 計算を実行します。 | メモリテーブルを使用し、計算を実行します。 たとえば、インデックスに 300,000,000 の複数トークンセルが見積もられる場合、データソースにインデックスを付けるために必要な追加メモリは次のように計算されます。 16,000,000 の複数トークンセル * 64 バイト = 1,024,000,000 バイトの追加メモリ 次に、残りの複数トークンセルに必要な追加メモリを決定します。 284,000,000 複数トークンセル * 16 バイト = 4,544,000,000 バイトの追加メモリ データソースにインデックスを付けるために必要な追加 RAM の合計を取得するには、結果を足します。 1,024,000,000 バイト + 4,544,000,000 バイト = 5,568,000,000 バイト = 5.2 GB (四捨五入) |
3 | 量を足します。 | インデックスの初回ロードに対して計算した量に上記で計算した量を足します。 たとえば、インデックスが 3 つの *.rdx ファイルで構成される場合、1.9 GB * 3 = 5.7 GB + 5.2 GB = 10.9 GB がインデックスをロードし、検出サーバーのインデックスを実行するために必要な量になります。 または、インデックスが 1 つの *.rdx ファイル(100MB)で構成される場合、100 MB + 5.2 GB = 5.3 GB が実行時にインデックスをロードし、処理するために必要な量になります。 |