taille des index lucene

cancel
Showing results for 
Search instead for 
Did you mean: 
kaya
Member II

taille des index lucene

Bonjour,

Nous avons un problème sur notre application customisée Alfresco : la taille des index lucene sur le disque augmente exponentiellement par moment. Un redémarrage permet toujours de revenir à une taille raisonnable. Cette augmentation d'index créé de gros problèmes de performance sur l'application. La seule solution que nous avons trouvée pour l'instant est de redémarrer 2 fois par jour l'application.

Pour exemple, il nous arrive de prendre 1,5GO d'index en 1 heure !!!
Sur cette même application, il nous ai même arrivé autrefois de prendre 20 GO en 3h.

Quelqu'un a-t-il déjà rencontré ce problème ? Si oui, avez-vous une piste de résolution ?

Merci
7 Replies
jeanjot
Active Member

Re: taille des index lucene

Bonsoir

Pour information :
Quelle version d'Alfresco ?
Quelle OS serveur ?
Quelle type de customisation ?

Après peut-être sera-t-il possible de répondre à la question.
kaya
Member II

Re: taille des index lucene

Bonjour,

On est sur Alfresco Entreprise 2.1.7 avec Solaris 10

On a ajouté beaucoup de code dessus. Mais le problème ne semble pas venir du code customisé. On a eu autrefois des problèmes d'index dus à des ResultSet Lucene non fermés, mais ils ont été reglés depuis. De plus avec la même utilisation de l'application (150 utilisateurs et 3000 documents injectés tous les jours), certaines périodes se passent plutôt bien, et les index n'augmentent que raisonnablement et proportionnellement aux nouvelles données.
kaya
Member II

Re: taille des index lucene

Petit complément,

J'ai trouvé ca sur le wiki Alfresco :

try .. finally pattern

The try..finally pattern above must be followed. If result sets are left unclosed they will hold on to the underlying files in the lucene index. Although merging can go ahead, the files will most likely not be deleted. The number of index directories will rise and no merged index segments will be deleted, so the on disk size will also rise. Restarting will clean up these directories in later versions of Alfresco but if you do not fix the code to follow the required pattern issue will recur.

Nous avons exactement le même symptôme. Les index grossissent jusqu'à redémarrage de l'application. Entre temps on voit que beaucoup (centaines / milliers ) de dossiers ont été créés dans "lucene-index" et qu'ils ne sont pas "mergés" tant qu'on ne redémarre pas l'application.
J'ai bien entendu fait une recherche dans le code de tous mes ResultSet, et tous sont bien dans des try, et il y a toujours un finally qui ferme le ResultSet systématiquement.

Il n'est pas pensable que la version 2.1.7 d'Alfresco contienne un bug de ce genre j'imagine ?
Une autre idée sinon ?
Je ne sais plus où chercher.
rguinot
Customer

Re: taille des index lucene

comment vos utilisateurs utilisent l'application ?

un moyen de confirmer que vous avez un problème avec vos indexes est de faire une réindexation complète. si vos indexes diminuent de 90% par exemple après reconstruction, il y a clairement un problème. Avez vous reconstruit vos indexes après avoir détecté des resultsets non fermés dans votre code custom ?

vos indexes sont ils stockés sur un disque local ou sur NFS ?
kaya
Member II

Re: taille des index lucene

Nos indexes sont stockés sur des baies de disques dont les vitesses sont normalement meilleures.

Le redémarrage de l'application avec l'index recovery à "AUTO" nous permet déjà de revenir à une taille d'indexes tout à fait normale, il n'est donc pas nécessaire de faire une réindexation complète à priori.

On remarque que lorsque l'injection des documents est en cours, la taille des indexes grossit mais elle redescend au bout de 45 minutes / 1 heure. Elle remonte ensuite lorsque la majorité des utilisateurs sont connectés et effectuent des opérations de consultation, édition des propriétés, validation de workflows etc.
joreun
Active Member

Re: taille des index lucene

Bonjour Kaya,
Je relance sur un sujet un peu vieux mais qui correspond exactement au problème venant d'apparaitre chez l'un de nos utilisateurs : des index qui occupaient habituellement de l'ordre de 10Go en viennent à monopoliser jusqu'à plus de 80Go sans avoir changé la configuration.
C'est sur une version d'Alfresco <3.3 qui nécessiterait un lourd travail d'upgrade pour passer en 3.4 ou 4.0.
Aviez-vous trouvé une solution dans votre cas ?
Merci.
michaelh
Active Member

Re: taille des index lucene

Détournement de sujet très ancien => Sujet verrouillé.
Cf https://forums.alfresco.com/fr/viewtopic.php?f=8&t=86