EziQA : integrando NLP, LLM y técnicas de RAG en una aplicación de preguntas y respuestas orientada a investigadores
Date
2024
Authors
Pelli, Pablo Nahuel
relationships.isContributorOfPublication
Carrillo, Facundo
Fraiman, Daniel
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad de San Andrés. Departamento de Matemática y Ciencias
Abstract
En el ámbito académico y profesional, gestionar grandes volúmenes de documentos y textos es un desafío significativo que enfrentan investigadores, asistentes de investigación y estudiantes universitarios. La organización, categorización y extracción de información relevante de colecciones extensas de documentos, mayormente *papers*, puede tornarse tediosa y consumir una cantidad considerable de tiempo, desviando el foco de la investigación principal hacia tareas de procesamiento. A pesar de que existen múltiples herramientas basadas en inteligencia artificial que reducen el tiempo dedicado a tareas repetitivas, los documentos académicos presentan características particulares que dificultan su tratamiento como texto de lenguaje natural debido a sus léxicos y morfologías específicas. Para abordar este problema, se ha desarrollado una aplicación de base de conocimiento basada en Modelos de Lenguaje de Gran Escala (LLM), diseñada para mejorar la eficiencia y experiencia del usuario mediante la categorización automática de documentos. Esta aplicación utiliza técnicas avanzadas de procesamiento de lenguaje natural, como ingeniería de instrucciones (prompt engineering) y extracción-generación aumentada (RAG), para analizar documentos, extraer temas o categorías principales y asignar esta información como metadatos. El objetivo principal de este trabajo es el de proveer una aplicación adecuada para producción que integra una base de conocimientos propia del usuario con una interfaz de usuario que permite el procesamiento y consultado de los documentos utilizando lenguaje natural. En particular, permitiendo al usuario hacer preguntas y obtener respuestas elaboradas sobre los documentos que constituyen la base.
Description
Fil: Pelli, Pablo Nahuel. Universidad de San Andrés. Departamento de Matemática y Ciencias; Argentina.