AnsweredAssumed Answered

Import en masse de fichiers avec metadata

Question asked by fidele on Dec 31, 2009
Latest reply on Jan 26, 2010 by rivarola
Bonjour à tous,
Nous avons installé  alfresco version Labs-3Stable-Full sur un OS windows server 2003 dont voici les config
-Intel pentuim 4 CPU  2.66ghz
-2,5Go de ram
-et une DD de 300go
Notre objectif est de migrer des documents de 100go dans alfresco avec leur metadata.  Pour cela nous avons choisis FTP (avec fileFezilla comme client ftp) pour le transfert  des  fichiers  ACP vers le serveur alfresco. Le système est bien en place mais pendant la phase de production, nous avons rencontré plusieurs problèmes :

1-Le transfert se fait très lentement : pour un volume de 20 go, il prend une journée entière

2-Quand on arrive au nombre de 3500 à 4000 documents transférés soit  à peu pres  10 à 12  go de volume, alfresco ne prend plus les documents   alors que  du coté fezilla les transferts continuent sans erreur. Quand on regarde par exemple le nombre doc importés (via le nombre de page dans l’espace)  alfresco nous donne des chiffres aléatoires  n’atteignant jamais le nombre exacte et si on observe aussi le nombre de doc dans le répertoire de destination, les nombres ne sont pas les mêmes que celui des fichiers ACP (normalement il devrait y avoir tant de ACP que de documents importés) . Le console de tomcat ne montre aucune erreur.

3-Nous avons constaté aussi que alfresco copie les acps transférés dans un autre répertoire: tomcat\temp\alfresco, ce qui gonfle énormément le volume occupé (car finalement on arrive avec 3 fois du volume initiale : les fichiers ACP dans le répertoire drop down + Doc extraits de ces acp + ACP dans le répertoire TEMP).

Mes questions sont donc :
A – Est –ce qu’il y a un moyen pour accélérer le transfert ?  Voici le paramétrage JVM que nous utilisons : JAVA_OPTS=-Xms1024m -Xmx1024m -Xss512k -XX:MaxPermSize=128m -XX:NewSize=512m  -Xloggc:garbage.log (une petite remarque on n ‘arrive pas a monter Xms et Xmx au dela de 1G, tomcat ne demarre pas).

B – Pourquoi alfresco refuse les documents au-delà d’un certain volume, est ce qu’il ya une configuration à modifier ou c’est la performance du serveur qui est en cause ?

C – Nous pensons qu’alfresco utilise beaucoup de mémoire du heap pour  l’indexation des documents, alors on a cherché les moyens de le désactiver mais en vain (On a besoin seulement que les indexages des metadata mais pas une recherche full Text donc pas d’indexation du document PDF tout entier. Comment on désactive l’indexation du doc par leucene ?

D – Pour le répertoire TEMP dans tomcat, c’est un comportement normal d’alfresco ? Sinon comment on évite ça ?

E- Est – ce que vous pensez que le config de notre serveur arrivera à accomplir cette tache ?, C’est un serveur dédié  uniquement pour alfresco et aucun autre accès de l’extérieur pendant le transfert.

Voilà mes amis nos soucis, c’est un peu long mais j’ai essayé d’être plus claire le plus possible pourque vous puissiez comprendre les problèmes. Alors je compte sur vous.
Merci
Fidèle

Outcomes