Los equipos de 1MillionBot y Lucentia Lab realizaron una sesión de trabajo para analizar los datos generados por Carina, el chatbot desarrollado por 1MillionBot para proporcionar información sobre la Covid-19.
La combinación de una arquitectura de bot eficiente combinada con el análisis de Big data puede aportar un gran valor, por ello analizar los datos de manera eficiente puede ser la clave para encontrar información valiosa y mejorar las interacciones. Analizar el data obtenido de las interacciones con los usuarios sirve para mejorar las conversaciones del bot, ver las cuestiones que más preocupan a los usuarios, detectar las preguntas sin respuesta, analizar las expresiones y la forma de interactuar con el bot … Con el análisis de estos datos podemos aprender mucho sobre la forma de comunicarse de los usuario y se pueden crear nuevas respuestas para mejorar la capacidad del chatbot y personalizar los mensajes.
Lucentia Lab ha llevado a cabo un análisis de una muestra del corpus de datos anonimizados del chatbot Carina (COVID-19) con un total de 69.284 conversaciones distintas y 212.953 mensajes
El objetivo principal del estudio ha sido profundizar sobre la eficiencia de la IA en las conversaciones y cuáles son las dudas de los usuarios referentes al COVID-19.
La anticipación de 1MillionBot en la construcción del chatbot antes de la declaración del estado de alarma ha permitido dar una respuesta a un gran numero de usuarios a nivel mundial cuando éstos más dudas tenían. De hecho, del estudio se extrae que en el inicio del estado de alarma, y los días posteriores, son los días en los que más se ha interactuado con el chatbot.
Algunas conclusiones de la sesión de trabajo conjunta:
- La tecnología y metodología de 1MillionBot permite que las respuestas sean eficientes a través de un diseño personalizado que permite cubrir los objetivos ajustados a la función del chatbot.
- La metodología de Lucentia Lab permite identificar como de precisa está siendo la interacción del usuario con la inteligencia artificial (llamadas “intenciones”), conocer preguntas que no tienen la respuesta deseada, o respuestas no deseadas que hacen que el usuario abandone la interacción con el chatbot, además de identificar los patrones de conversaciones o visualizar la evolución de las interacciones con el chatbot a lo largo del tiempo. Dicha información puede ser consultada a partir de un cuadro de mando o dashboard facilitando la comprensión y visualización de la información y ayudando a la toma de decisiones y la evolución del chatbot en el día a día.
- El estudio confirma que las intenciones principales del chatbot funcionan correctamente.
- Se identifica la capacidad de mejorar la respuesta mediante una corrección de mensajes previo envío al servidor ya que gran parte de los fallos del chatbot corresponden a errores ortográficos en los mensajes de los usuarios.
- Los usuarios han tratado el tema con seriedad, hasta el punto de que un 88% de las conversaciones tenían al menos una pregunta relacionada con el COVID-19.
- Las dudas y preguntas de los usuarios han ido evolucionando según avanzaba la pandemia, desde el numero de casos, y cómo saber si se estaba infectado; hasta cuales eran las medidas de protección y cómo ha avanzado la investigación.
El trabajo ha sido llevado a cabo por : Juan Carlos Trujillo, Alejandro Maté, José M. Barrera y Alejandro Reina.
Sobre Lucentia Lab
Ver Lucentia Lab