C++ / IA – NLP

Bienvenidos sean a este post, hoy hablaremos un poco sobre un sub-campo de IA.

NLP esta apuntado principalmente para que las maquinas entiendan el lenguaje humano. Pero un enfoque mas generalizado es el reconocimiento automatico de voz y entendimiento del lenguaje natural, siendo una caracteristica clave de los asistantes virtuales. Hoy en dia, ya no es cuestion de magia hablar con nuestro movil y solicitarle un dato que buscara en la gran web. Esto se realizara mediante el uso de complejos algoritmos en analisis de texto y voz. Cuando digamos lo que necesitamos, este sera pre-procesado, para luego tomar el resultado del paso anterior y realizar la extraccion de lo que necesitamos. Con la informacion extraida, se procede a hacer un reconocimiento y transformarlo en texto para finalmente buscarlo en nuestro buscador favorito.

Muchas tareas del procesamiento de lenguaje estan relacionadas con la web. Una de las aplicaciones top de NLP es justamente la busqueda de una pagina web o dato mediante la voz. Dicho motor de busqueda no puede solo almacenar todos los sitios web y responder a la primer coincidencia para el query de busqueda.

Volviendo a NLP, este posee multiples tareas que tiene implmentaciones complejas. Vamos a suponer que estamos diseñando un programa que es alimentado con un documento de texto y deberiamos poner oraciones dentro del documento. Una tarea compleja es el reconocimiento del inicio y final de la oracion. Vamos a tomar como ejemplo la siguiente oracion:

Me encanta estudiar C++. Es el dark souls de los lenguajes de programacion.

Si lo pasamos a nuestro programa, este lo convertira en lo siguiente:

Me encanta estudiar C++.
Es el dark souls de los lenguajes de programacion.

Si lo analizamos de una manera muy basica, el codigo lo unico que busca es el punto como identificacion de final de oracion pero que sea seguido de un letra en mayuscula. Pero que sucederia si hacemos la siguiente modificacion:

Me encanta estudiar C++! Es el dark souls de los lenguajes de programacion.

En este caso, tomara todo como una sola linea y para ello debemos volver al codigo y agregar la condicion para que el signo de admiracion seguido de un caracter en mayuscula simbolice un final de linea. Pero esta no es la unica excepcion que podemos tener, y a medida que vayan surgiendo debemos ir agregandolas. Mientras mas reglas y condiciones vayamos agregando mas preciso sera nuestro extractor de oraciones.

Si a esto lo podemos mejorar con el uso de Machine Learning, nos lleva a una mejor resolucion de las tareas de NLP. Otra tarea relacionada al lenguaje es poder usarlo como maquina de traduccion, para que automaticamente traslada un documento de un lenguaje a otro. Tambien notemos que desarrollar un sisetma NLP integral que nos beneficiara en otros campos como knowledge reasoning.

En resumen, hoy hemos visto a NLP, en que consiste, algunas de las tareas que realiza y algunos ejemplos practicos para ver en que consiste. Espero les haya sido de utilidad sigueme en tumblr, Twitter o Facebook para recibir una notificacion cada vez que subo un nuevo post en este blog, nos vemos en el proximo post.