Daniel Gimenez » Lucene

Preparando la “training class” sobre tomcat

Daniel Giménez — Mon, 23 Mar 2009 03:23:49 +0000

“Everything Tomcat – Administering, Tuning, Troubleshooting and Developing“ es el título del training al que asisto mañana y pasado mañana en el mismo hotel en el que estamos alojados. He acabado ahora mismo de preparar unas cuantas instancias de Tomcat con diferentes configuraciones para poder aprovechar al máximo las clases y no perder tiempo con problemas de configuración que no aportan nada. Ya me he informado sobre el ponente y algunos de los asistentes. Internet es maravilloso: puedes sacar información de los sitios más inesperados.

Raimon Bosch también empezará mañana con su training sobre Hadoop en otro de los cursos: “Hadoop Tools and Tricks for Data Processing Pipelines“. Creo que en Trovit vamos a empezar a sacarle partido a Hadoop en algunas de las áreas más conflictivas.

Por último, Marc Sturlese acudirá a las Hackaton. Aquí tendrá la posibilidad de conocer a muchos desarrolladores de la Apache Software Foundation y podrá hablar directamente con la gente que escribe el código de las aplicaciones que utilizamos cada día. Por supuesto, ya tiene un buen listado de temas a consultar y discutir con los desarrolladores

Otro tema importante es coger buena nota de todo para poder traspasar el conocimiento a todo el equipo que no ha venido a las conferencias. En dos semanas tocará presentar todo lo aprendido en una masterclass en Barcelona en las oficinas de Trovit.

Aunque parezca mentira, hoy lo hemos estado preparando todo para que mañana sea un día lo más productivo posible ¡No sólo hay fiesta en Amsterdam!

Lucene 2.4.0 disponible

Daniel Giménez — Mon, 20 Oct 2008 10:45:34 +0000

Desde el dia 8 de octubre está disponible la nueva release de Java Lucene v. 2.4.0 con mejoras y varios fixed bugs respecto de su version anterior. Entre ellos cabe destacar:

- El autoCommit a true en el indexWriter por fin comite, hasta ahora debiamos hacer un commit() explícito. Por contra, en la nueva versión los flush() (que en versiones anteriores hacian commits) ahora quedan desfasados. Hemos de tener cuidado con esto si actualizamos la versión en nuestros indexadores.

- Ahora podemos especificar el tamaño máximo de un Field directamente en el IndexWriter.

- El índice guarda cadenas de texto en bytes UTF-8 directamente. Hasta ahora era JAVA el que se encargaba de hacer la transformación.

- org.apache.lucene.search.Hits, Hit y HitIterator quedan desfasados.

- Varias mejoras en el SpellChecker, en el IndexDictionary y en el ISOLatin1AccentFilter. Otra cosa importante: ahora podemos crear una clase específica de Similarity para utilizarla en el MoreLikeThis. La función retrieveTerms(int) pasa a ser pública para recoger términos parecidos a uno dado.

- Curiosidad: desaparece el deleteDocuments(Query) del IndexReader para pasar a formar parte del IndexWriter. Esto si que era raro… aunque seguro que quién lo puso ahí tuvo sus razones.

Trovit en la PHPConference de Barcelona

Daniel Giménez — Tue, 30 Sep 2008 22:23:53 +0000

Aquí os dejo el enlace a las fotos del equipo de Trovit en la PHPConference en el Citilab de Cornellà. La verdad es que me pareció un evento super interesante.

En especial me gustó la conferencia sobre “Emails in PHP” de Marcus Bointon que según creo es una de las personas que mantienen PHPMailer (por cierto, creo que tiene algún bug al trabajar con UTF-8). Me hubiese gustado que hablara un poco sobre la problemática del envío de emails al utilizar diferentes codificaciones (que es un mundo aparte) pero no pudo ser. ¡Otra vez será!

Otra conferencia interesante fué la de Softonic. Concretamente habló Jens Bierkandt y me gustó la explicación que dió sobre como trabajan con sesiones mediante Sharedance. No conocía este producto: básicamente se trata de mantener una caché de las sesiones de usuario y se basa en la misma idea que memcached pero resolviendo el problema de la persistencia de datos guardando la información en disco. Realmente interesante para la distribución de sesiones cuando tienes muchos frontales y quieres evitar utilizar la base de datos. Os puedo asegurar que es una solución realmente buena: el utilizar la base de datos para el mantenimiento de sesiones acaba significando o hacer fragmentación horizontal en las tablas involucradas (que a mi entender es una solución muy válida) o comprar una máquina más potente (cosa que no os aconsejo para nada, ¡una de las claves del éxito de un negocio en internet es pensar siempre en distribuido!).

Por otro lado, curiosa la presentación de Zoë Slattery sobre “Text indexing and search libraries for PHP”. No es normal que en una conferencia sobre PHP se muestren unos benchmarks favoreciendo a JAVA pero lo cierto es que hay que mostrar la realidad y la realidad es la que mostró Zoë (en Trovit lo tenemos más que comprobado). JAVA es mucho más rápido cuando trabajamos con la API de Lucene tanto a la hora de indexar como a la hora de buscar. En esta conferencia me faltó un poco de comparativa para el proceso de búsqueda.

Enhorabuena a todas las personas que hicieron posible las conferencias: ¡muy buena organización!

Fix en la clase CheckIndex

Daniel Giménez — Tue, 27 Nov 2007 23:48:46 +0000

Hace 3 días escribía sobre un update en la clase CheckIndex que permitía arreglar índices de Lucene corruptos. Pues bien, justo hoy a raíz de un post sobre un bug que detectaba segmentos con documentos eliminados como erróneos, Michael McCandless ha vuelto a actualizar la clase. Os la dejo aquí de nuevo con el fix.

Restauración de un índice de Lucene corrupto

Daniel Giménez — Sat, 24 Nov 2007 12:32:30 +0000

Aunque es muy difícil que un índice de Lucene acabe corrompiéndose puesto que el sistema de Index Managing está preparado para soportar caídas de la JVM ya sean provocadas (p.e. con un ‘kill -9′. Y siempre pienso ¿no sería mejor añadir un poquito de lógica a la aplicación para poder cerrarla bien en cualquier momento? Pero sólo se queda en es eso… en un pensamiento) o imprevistas, podemos encontrarnos con situaciones poco deseables si, por ejemplo, se nos cae la máquina con la que estamos indexando en medio del proceso.

Aunque parece que el equipo de Lucene está trabajando en su versión 2.3 entre otras cosas para evitar este tipo de problemas y así mantener en todo momento la consistencia del índice, existe la posibilidad de chequear y recuperar ajustando un poco la clase CheckIndex con este parche desarrollado por Michael McCandless. Sólo tendremos que lanzar el proceso con el parámetro “-fix” y se recorrerá todo el índice arreglando las inconsistencias que pueda haber.

¡Mejor que nunca lo necesiteis!