Lucene

Ejemplo de funcionamiento: algunos diagramas

2009-02-11T12:03:00.005+01:00

A continuación, un ejemplo de indexación y búsqueda con Lucene. Vemos primero los diagramas de clase y de flujo.

Diagrama de clases:

Diagrama de flujo: indexación de ficheros.

Diagrama de flujo: búsqueda de ficheros.

Indexar documentos XML

2009-02-11T12:00:00.001+01:00

Para indexar documentos XML no necesitamos ninguna herramienta ni API especial. La API de Java trae incluido un analizador sintáctico (parser) de XML. Simplemente tenemos que importar lo siguiente:

import org.w3c.dom.NamedNodeMap;
import org.w3c.dom.Node;
import org.w3c.dom.NodeList;
import org.xml.sax.SAXException;

El uso de estas bibliotecas se puede ver en sucesivos post, en el código de ejemplo.

Hay muchas otras opciones para extraer XML, en este ejemplo se ha optado por la simplicidad. Lo que se lleva a cabo es extraer el contenido del fichero XML completo como texto plano e indexarlo.

No es la mejor opción, puesto que el contenido de muchas etiquetas está repetido y no es necesario. Para realizar un buen análisis de un documento XML genérico habría que utilizar por ejemplo, las funciones de XPath.

Otra opción válida si el documento XML no es genérico, sino que está bien definido es realizar una extracción del contenido sabiendo los nombres de las etiquetas principales (ver ejemplo de extracción de XML).

Indexar documentos de Microsoft Word

2009-02-11T11:57:00.002+01:00

Utilizaremos el analizador desarrollado por Apache-POI, que nos permitirá analizar sintácticamente documentos Word de Office 97, 2000 y XP. Los documentos de Office 2007 no son por el momento compatibles.

El procedimiento para hacerlo es el siguiente:

Descargamos los ficheros de la web de Apache-POI, buscaremos una versión estable (FINAL).
Descomprimimos el fichero. Buscamos en el archivo descomprimido y encontraremos unos ficheros .JAR.
Añadimos estos ficheros al classpath de el IDE que utilicemos y el uso es inmediato al igual que en el caso de los PDF.

Ejemplos de código más adelante.

Indexar documentos PDF

2009-02-11T11:54:00.003+01:00

Para indexar documentos PDF tenemos varias alternativas:

Se puede usar PDFBox, una API hecha en Java que permite el acceso al contenido textual de un PDF. PDFBox incluye la integración con Lucene para traducir un PDF a un documento Lucene.

Para usar PDFBox, lo descargamos de la web (http://pdfbox.org/), lo descomprimimos y añadimos el fichero/s .JAR al classpath.

Esta es la opción que se eligió para la clase de prueba de ejemplo (ver código) a continuación.

Otras soluciones para indexar PDF pueden ser:

·XPDF (http://www.foolabs.com/xpdf/): herramienta de código abierto con licencia GPL. No es una herramienta de Java, pero hay una utilidad llamada pdftotext que puede traducir documentos PDF a documentos de texto en la mayoría de las plataformas desde la línea de comandos.

Basado en xpdf, existe una utilidad llamada pdftohtml (http://pdftohtml.sourceforge.net/) que puede traducir documentos PDF a documentos HTML. Igualmente no es una aplicación Java.

Jpedal (http://www.jpedal.org/) es una API de Java para extraer texto e imágenes de los documentos PDF.

Indexar documentos RTF

2009-02-11T11:45:00.003+01:00

Para realizar la indexación de los documentos RTF utilizaremos una biblioteca incluida en Java, llamada RTFEditorKit, la cual nos servirá para extraer el texto plano de los documentos. Al igual que en la indexación de documentos TXT, no hay que hacer uso de otra herramienta adicional.

A pesar de esto, es posible que este editor/extractor de tokens no sea 100% efectivo, ya que hay se han detectado algunos errores por omisión de palabras en la indexación.

Código de ejemplo de uso:

FileInputStream is = new FileInputStream(f); //Tomamos de Stream

RTFEditorKit kit = new RTFEditorKit();

javax.swing.text.Document d = kit.createDefaultDocument();

kit.read(is, d, 0);

String texto = d.getText(0, d.getLength());

Document doc = new Document();

doc.add(new Field("filename", f.getCanonicalPath(), Field.Store.YES, Field.Index.ANALYZED));

doc.add(new Field("contents", texto, Field.Store.YES, Field.Index.ANALYZED));

is.close();

writer.addDocument(doc);

Indexar documentos TXT

2009-02-10T13:34:00.007+01:00

Realizar la indexación de documentos de texto plano (txt) con Lucene es muy sencillo en la versión de Lucene original (Java) ya que usa las funciones predefinidas de entrada/salida de Java, simplemente hay que incluir la biblioteca java.io.

Un ejemplo de cómo sería el código:

Document doc = new Document();
Reader r = new FileReader(f);

doc.add(new Field("contents", r));
doc.add(new Field("filename", f.getAbsolutePath(), Field.Store.YES, Field.Index.ANALYZED));

writer.addDocument(doc);

Indexar diferentes tipos de ficheros

2009-02-10T13:23:00.003+01:00

Como Lucene sólo trabaja con texto plano, para indexar otro tipo diferente de fichero, habrá que hacer una preparación previa para obtener el texto a partir de ellos. Esto se lleva a cabo utilizando distintos tipos de herramientas.

A continuación, repartido en diferentes post, iremos explicando la extracción de texto plano para una serie de documentos específicos, comenzando por los documentos .txt que son los más sencillos de indexar, para posteriormente estudiar cómo trabajar con otro tipo de documentos (.PDF, .XML, ...).

Todo esto será siempre utilizando Java y la herramienta requerida para la extracción del texto plano en cada caso.

Instalar Lucene

2009-02-10T13:13:00.004+01:00

Instalar Lucene es extremadamente simple:

Descargamos Lucene en formato comprimido de la web: http://apache.rediris.es/lucene/java/
Lo extraemos usando ant o cualquier otro descompresor.
Una vez extraído, en el archivo deberían aparecer (entre otras cosas) un par de ficheros .JAR. Uno de ellos es el core de Lucene y el otro contiene ejemplos.
Para hacer uso de Lucene, simplemente incluimos estos ficheros en el classpath del IDE que vayamos a utilizar para generar el código.

El código de ejemplo ha sido generado haciendo uso de Eclipse, con la versión de Java 1.5 y haciendo uso de Lucene 2.4.0.

Visión Global de funcionamiento

2008-12-04T13:26:00.004+01:00

A Lucene se le pasa un fichero que se quiere indexar. Si dicho fichero es de texto plano, la indexación será automática (la lleva a cabo la biblioteca de Java java.io). En otro caso, se debe extraer el texto plano del fichero realizando un análisis sintáctico con ayuda de otra herramienta.

A partir de esta entrada, Lucene analiza el texto, lo tokeniza y crea un índice que almacena en memoria RAM o en disco según se especifique. Los autores indican que Lucene trabaja muy bien con la indexación en memoria RAM, pues permite realizar búsquedas más rápidas. Normalmente, se usará el almacenamiento en disco.

A continuación vemos un gráfico que ilustra el proceso:

Una vez creados los índices, se puede hacer búsquedas sobre ellos. Para realizar las consultas se puede optar por codificar una aplicación que lo haga (ver códigos de ejemplo), o bien utilizar alguna herramienta gráfica de tipo LuKE, que generalmente permiten consultar y editar los documentos de forma gráfica.

El inconveniente de esta elección es la versión que usamos de Lucene y de Java, si son muy nuevas, pueden no ser compatibles con las herramientas gráficas.

A continuación un gráfico que ilustra el funcionamiento:

¿Qué es Lucene?

2008-11-25T19:23:00.008+01:00

Lucene es una API para recuperación de información de código abierto, originalmente implementada en Java por Doug Cutting. Está apoyado por el Apache Software Foundation y se distribuye bajo la Apache Software License. Lucene tiene versiones para otros lenguajes: Delphi, Perl, C#, C++, Python, Ruby, PHP, .NET.

Es útil para cualquier aplicación que requiera indexado y búsqueda a texto completo. Lucene ha sido ampliamente usado por su utilidad en la implementación de motores de búsquedas, lo cual ha llevado a la falsa idea de que Lucene es un motor de búsquedas con funciones de "crawling" y análisis de documentos en HTML incorporadas. Lucene es una librería software, una herramienta de desarrollo, no es una aplicación de búsqueda.

Para Lucene no importa el origen de los datos, el formato o el idioma, siempre y cuando se puedan convertir en texto. Esto significa que se puede usar Lucene para indexar y buscar datos almacenados en archivos: páginas web en servidores remotos, documentos almacenados en el sistema local de archivos, archivos de texto simple, documentos Microsoft Word, HTML, PDF, o cualquier otro formato del que se pueda extraer información textual.

El centro de la arquitectura lógica de Lucene se encuentra el concepto de Documento (Document) que contiene Campos (Fields) de texto. Esta flexibilidad permite a Lucene ser independiente del formato del fichero. Textos que se encuentran en PDF, páginas HTML, documentos de Microsoft Word, así como muchos otros pueden ser indexados siempre y cuando se pueda extraer información de ellos.

Este diagrama nos ayuda a comprender 'dónde' está situado Lucene en nuestro sistema:

Inauguración

2008-11-18T22:20:00.003+01:00

Hola a todos!

El objetivo de este blog es dar una pequeña (y espero que correcta) introducción a Lucene, como herramienta de indexación. Incluyendo algunas otras herramientas adicionales bastante útiles en su combinación con Lucene.

Es más bien un blog benéfico, en español en principio, ya que toda la información que hay (escasa en el campo en el que aplicaré Lucene) está en inglés y muy fragmentada.

Espero que sirva de utilidad en un futuro a alguien. Es el fruto del trabajo realizado durante mi Prácticum y bueno, mi trabajito me ha costado ;)

Debo decir que no hago el blog para resolver dudas sobre esta materia, puesto que no soy experta. Simplemente, espero que lo que escriba aquí sirva y si alguien tiene alguna dudilla, responderé lo que esté en mi mano :)

Un saludo!