PROBLEMAS CON EL ESPACIO

cancel
Showing results for 
Search instead for 
Did you mean: 
xagaes
Member II

PROBLEMAS CON EL ESPACIO

Tenemos alfresco instalado y estamos volcando sobre el toda nuestra documentacion, debemos introducir 6.000.000 de documentos.
Hasta la fecha llevamos introducidos por ftp alrededor de 1.800.000, y de la noche a la mañana hemos pasado a duplicar el espacio.
Revisando, hemos visto que se nos ha duplicado el espacio en 2 directorios, backup-lucene-indexes e indexbackup_temp.
Hay alguna manera de que no se dupliquen esos directorios? se pueden borrar?

Por otro lado, cuando empezamos con alfresco nos comentaron que para calcular el espacio que nos haría falta había que pensar que los indices de lucene ocupan alrededor de un 35-40 % del espacio de los documentos, por lo que para 100 gb de documentos hay que tener en cuenta que haría falta un espacio de 35-40 gb.
Hasta la fecha hemos volcado documentación por un total de 94 gb, pero los indices de lucen ocupan 103 gb, no sólo no se corresponde con ese 35-40 % que nos habían comentado, sino que supone un 110%. Habremos hecho algo mal? Son erróneas las previsiones de un 35-40 % para indices de lucene?

Este es el espacio ocupado hasta la fecha, por si sirve de referencia.

alf_data/backup-lucene-indexes/archive -> 527 M
alf_data/backup-lucene-indexes/locks -> 0
alf_data/backup-lucene-indexes/system -> 144 K
alf_data/backup-lucene-indexes/user -> 88 K
alf_data/backup-lucene-indexes/workspace -> 103 GB
alf_data/contentstore -> 94 GB
alf_data/contentstore.deleted -> 0
alf_data/indexbackup_temp/archive -> 527 M
alf_data/indexbackup_temp/user -> 88 K
alf_data/indexbackup_temp/workspace -> 84 GB
alf_data/lucene-indexes/archive -> 527 M
alf_data/lucene-indexes/locks -> 0
alf_data/lucene-indexes/system -> 128 K
alf_data/lucene-indexes/user -> 88 K
alf_data/lucene-indexes/workspace -> 103 GB

Muchas gracias de antemano.
4 Replies
pjcaracuel_2349
Active Member II

Re: PROBLEMAS CON EL ESPACIO

Buenas,

Entiendo que es una mala interpretacion, ellos solo habran considerado el tamaño del directorio
alf_data/lucene-indexes/archive

Los otros directorios a los que haces referencia, se usan para hacer recuperaciones en caliente (Vaya mala traduccion) de hot backups

Te adjunto entrada de Wiki
http://wiki.alfresco.com/wiki/Backup_and_Restore

Por cierto en una sesion formativa, me pasaron una hoja excell para el dimensionamiento de Alfresco, si te sirve, pidemela.

Un Saludo
xagaes
Member II

Re: PROBLEMAS CON EL ESPACIO

Antes de nada muchas gracias por todo.
Nos ha servido de gran de ayuda ese link.
El problema es que tenemos asignado un espacio y de la forma que está creciendo se ha agotado.
Si nos pudieses enviar ese excell (a xagaes yahoo.es) con el dimensionamiento podriamos replantear todo el tema del espacio.
Muchas gracias por todo y ya te contaremos como vamos evolucionando.

Un saludo
xian_5749
Member II

Re: PROBLEMAS CON EL ESPACIO

Buenas xagaes,

Como decía Jack el Destripador, vamos por partes:

Tamaño estimado de los índices
Hasta donde yo sé no existe una regla exacta para calcular el tamaño que ocuparán los índices de lucene. Depende de factores como el número de ficheros, el tamaño de los mismos, el número de repeticiones en las ocurrencias de las palabras que se indexan, etc. Además en el caso de Alfresco no sólo se indexa el contenido del documento, si no también sus atributos, de ahí que el tamaño también dependerá (aunque en menor medida) del modelado que se haya hecho para estos tipos documentales.

Como normal general se podría partir con una estimación de entre el 20% y el 30% del tamaño total de contenido indexable.

En vuestro caso, que hablamos de millones de documentos y GB de información, también hay que tener en cuenta el tamaño de la base de datos, que puede llegar a representar otro 20% del tamaño total.

Índices corruptos
Por la información que envías de tu carpeta alf_data parece que han pasado dos cosas:
1) El proceso planificado de backup de índices de Alfresco, que se lanzá automáticamente a las 03:00 de la mañana, no ha finalizado correctamente. De ahí que tengas tres carpetas (backup-lucene-indexes, lucene-indexes y indexbackup_temp). Esta última es una carpeta temporal que Alfresco utiliza en el proceso de backup, si se ha quedado sin borrar es que el proceso se interrumpió por algún motivo.
2) El tamaño de los índices (103 GB) es desproporcionado respecto al tamaño del contenido (94 GB). Esto parece indicar que los índices se han corrompido. Mi recomendación es que hagas un backup de todo (nunca se sabe) y después borres los índices actuales y lances un FULL recovery de los índices. Si después de hacer eso tus índices ocupan más de un 30% te invito a unas cañas  :wink:

Un saludo
Xian
xagaes
Member II

Re: PROBLEMAS CON EL ESPACIO

Muy buenas xian,

Despues de ver la documentación que nos ha facilitado pjcaracuel, nos hemos dado cuenta de lo que ha pasado.
Y ha pasado justo lo que dices, nos hemos quedado sin espacio y de ahí que tengamos tanta información en indexbackup_temp.
Hemos hecho una copia, no vaya a ser el diablo, hemos borrado los indices actuales y ahora estamos haciendo el FULL recovery de los indices.
Lo que no sabemos es el tiempo que le va a llevar, pero ya os informaremos de todo.

Muchas gracias por todo.

Un saludo

xagaes

Pd. si ocupan menos de un 30% las cañas las pago yo.