Conservation des données
Le service de conservation des données tente de nettoyer les données historiques de lorsque le pourcentage d'espace disque disponible dépasse le seuil de pourcentage spécifié par l'attribut freeSpacePercentage dans la table parameter_descriptions de la base de données du Harvester. La valeur par défaut pour le seuil de pourcentage est de 10 %. Cela signifie que lorsque l'espace disque disponible tombe en dessous de 10 %, le service de conservation des données commence à supprimer des données, en commençant par les plus anciennes.
nfa1000
Le service de conservation des données tente d'élaguer les données historiques de
DX NetOps Network Flow Analysis
lorsque le pourcentage d'espace disque disponible dépasse le seuil de pourcentage spécifié par l'attribut freeSpacePercentage
dans la table parameter_descriptions
de la base de données du Harvester. La valeur par défaut pour le seuil de pourcentage est de 10 %. Cela signifie que lorsque l'espace disque disponible tombe en dessous de 10 %, le service de conservation des données commence à supprimer des données, en commençant par les plus anciennes.Le service d'élagage est exécuté toutes les minutes afin de déterminer s'il est nécessaire de lancer un nettoyage des données (pour éviter ainsi que l'espace disque soit entièrement consommé). Si l'espace disque est suffisant, l'élagage est effectué uniquement une fois par jour afin de réduire les données selon le seuil maximum spécifié dans la table
data_retention.datastores
. Ainsi, au cours de certains moments de la journée, plus de 24 heures de fichiers .nfa
sont affichés.Lorsque le service de conservation des données détermine qu'un élagage est nécessaire, il considère trois catégories de données principales à élaguer :
- Données d'archives NetFlow : données NetFlow brutes, y compris les données du modèle NetFlow (fichiers.nfaet.nta). En général, 24 heures de ces données sont conservées.
- Données d'archive du Reaper : données récapitulatives de 1 minute (base de donnéesarchive). En général, 30 jours de ces données sont conservées.
- Données historiques d'archive : données récapitulatives de 15 minutes (base de données archive15). En général, un an de ces données sont conservées.
A partir de la version 21.2.10, une nouvelle propriété (
prunePriorityLatestData
) est disponible dans le fichier install_path/Netflow/bin/dataretention.properties
. La propriété prunePriorityLatestData
détermine les données à élaguer lorsque le seuil freeSpacePercentage
est dépassé. Par défaut, la propriété est définie sur true
; au lieu d'élaguer les anciennes données, le Harvester arrête de traiter les nouvelles données entrantes. Si la propriété est définie sur false
, les anciennes données sont élaguées en fonction des règles du service de conservation des données suivantes.Après avoir modifié la valeur de la propriété, redémarrez le
service de conservation des données
. A chaque élagage, trois tentatives de libération d'espace disque sont effectuées, chacune selon une méthode légèrement différente :
- Elagage maximum : élagage des données selon les seuils par défaut en fonction du type de données (24 heures de données brutes NetFlow, 30 jours de données de 1 minute et 1 an de données de 15 minutes). Si l'élagage à ce niveau libère suffisamment d'espace, aucun autre n'a lieu.
- Élagage minimum : tentative de nettoyage des données jusqu'au seuil d'espace libre minimum (valeur par défaut : 10 %). Toutes les données requises pour atteindre ce seuil seront supprimées, en commençant par les plus anciennes. Si l'élagage à ce niveau libère suffisamment d'espace, aucun autre n'a lieu. Ce niveau d'élagage est également incrémentiel, c'est-à-dire que dès que l'espace libre requis est atteint, l'élagage s'arrête jusqu'à ce qu'il soit nécessaire à nouveau.
- Élagage de toutes les données : forme plus incisive d'élagage des données pour atteindre l'espace libre minimum. Cet élagage peut entraîner la suppression de toutes les données d'un certain type. Utilisez-le en dernier recours uniquement.
Le service de conservation des données journalise les différentes activités d'élagage. S'il est impossible de libérer suffisamment d'espace disque pour atteindre le seuil d'espace disque requis, il enregistre ces informations et réessaye lors de l'exécution planifiée suivante.
S'il est impossible de conserver la quantité de données historiques dont vous avez besoin, il est recommandé d'utiliser un disque d'une capacité supérieure ou de redistribuer une partie du trafic NetFlow reçu par le Harvester vers un autre Harvester.
Informations complémentaires :