¡Un mexicano en Japón!

En el área de recuperación de información, la idea es obtener una serie de documentos considerados relevantes con respecto a ciertas palabras o expresiones. En términos generales, la idea es encontrar los documentos que más se acerquen a una búsqueda realizada con palabras clave o con expresiones más complicadas (como lenguaje natual propiamente). Ejemplo: una búsqueda en Google. Ponemos lo que estamos buscando y Google muestra una serie de resultados que calcula como importantes para esa búsqueda.

Es evidente que no existe una sola forma de encontrar los documentos, y más que encontrarlos, de asignarles un orden. Es muy fácil tener una colección de documentos y hacer una especie de consulta SQL donde regresemos solamente los documentos que contienen al menos una de las palabras buscadas, pero esto solo nos va a regresar los documentos en el orden que la base de datos los encuentra (o en el que le asignemos en el SELECT). Esta forma de búsqueda es la más simple de todas: búsqueda binaria. Pero, ¿se imaginan que ésta fuera la técnica que Google usara? ¿Cuántos documentos no tendríamos que revisar hasta encontrar (si es que lo hacemos) uno que en verdad contiene la información que se desea encontrar?

Google reporta 850,000 resultados para la búsqueda “Vacaciones en Cancún”, pero en la realidad solo muestra hasta el número 1,000. No obstante, son pocas y contadas las veces en las que revisamos más de 100 documentos. El orden importa, y es justamente lo que la recuperación de información trata de resolver.

Una búsqueda binaria no analiza más allá de si un documento contiene o no una o varias palabras; por tanto, así como regresa documentos en los que la palabra X aparece 1 vez, también regresa otros donde aparece 100 veces, por poner un ejemplo. ¿Cuál documento es entonces más importante?

La asignación de orden  se puede realizar de distintas maneras: fecha, autor, número total de palabras en el documento, etc. Entre las muchas formas de llevar a cabo esta tarea, existe la de asignarle peso a las palabras, es decir, de tratar de calcular qué palabras son más relevantes en un texto, y con base en eso decidir cuál documento es más probable que contenga la información buscada.

Continue reading “TF-IDF: pesando las palabras”

El procesamiento de lenguaje natural es una rama de la inteligencia artificial que, explicado de la forma más simple, se dedica a tratar de hacer comprender a la computadora el lenguaje que nosotros, los humanos, usamos, sea español, inglés, japonés, klingon, etc.

Una vez que la computadora entienda el lenguaje natural, podemos realizar muchas tareas de forma más simple. Por ejemplo: imaginen que tienen que leer una serie de artículos en el periódico, todos ellos muy largos. Como en todo escrito, hay partes que son más importantes que otras; con procesamiento de lenguaje natural podríamos hacer que la computadora “leyera” esos artículos por nosotros y nos mostrara un resumen de cada uno, haciendo la lectura mucho más simple, menos tediosa y, sobre todo, conteniendo los puntos más importantes de cada escrito.

Lo anterior es solo por poner un ejemplo; sabemos de antemano que empresas como Google, Yahoo y Microsoft usan procesamiento de lenguaje natural para poder encontrar rápidamente documentos relevantes a una consulta generada en sus motores de búsqueda, siendo Google el que lleva la delantera. Así también, nos encontramos con programas de traducción automática, los cuales reciben un texto en un idioma X, lo analizan, y producen una respuesta el mismo escrito en otro idioma Y sin ayuda de traductores humanos.

Usos hay muchos, técnicas para hacer cada tarea, también, pero como en toda área de la IA actual, quedan todavía muchos problemas por analizar, por atacar, por mejorar la respuesta que ofrecen, por mejorar la velocidad y el performance de sus algoritmos… en fin, hay mucho trabajo que realizar.

Pueden leer un poco más en este documento que creé para las pláticas que di en México en abril de este año: Un vistazo al procesamiento de lenguaje natural

Cuando llegué a Japón, en mi vida había pensado, o siquiera conocido, sobre procesamiento de lenguaje natural; de hecho, yo llegué aquí con la idea de trabajar principalmente en procesamiento de imágenes, pero ya ven las vueltas que da el destino Toda mi investigación (lo poco que hice por acá) es respecto a características del idioma japonés y de cómo se pueden analizar al momento de traducir a español, tratando de enfocarme en el modo subjuntivo de este último. Por ahí trabajé también un poco con analizas de citas de texto (modo directo o indirecto), pero de todo esto ya hablaré con más calma en futuros posts. Solamente no quería comenzar a divagar escribiendo sobre temas más técnicos sin antes presentar, aunque sea de forma breve, la base de todos ellos.