Data & Innovation • Financial Services
GenAI y confidencialidad de la información: Chatbot seguro con comprensión documental
Integración de inteligencia artificial generativa en entornos controlados, con foco en privacidad, eficiencia y experiencia del usuario.
Acerca del cliente
Importante Banco argentino que combina una profunda tradición con una visión moderna del futuro. Con foco en la cercanía y la innovación, desarrolla soluciones pensadas para acompañar tanto a personas como a empresas en sus desafíos cotidianos, ofreciendo una experiencia bancaria ágil, humana y eficiente. Su esencia se basa en construir vínculos de confianza a largo plazo, entendiendo las necesidades reales de cada cliente.
Impulsado por la transformación digital y el compromiso con la comunidad, trabaja para ser mucho más que un Banco: busca ser un aliado en la toma de decisiones, un motor para el crecimiento y un puente hacia nuevas oportunidades. A través de tecnología, asesoramiento personalizado y una presencia activa en todo el país, sigue consolidando su propuesta de valor en un entorno en constante evolución.
Desafío
Importante Banco argentino necesitaba la implementación de una Prueba de Concepto (PoC) de Inteligencia Artificial Generativa (GenAI) con el objetivo de disponer un chatbot para consultas de archivos PDFs, como iniciativa de adoptar estas tecnologías dentro de la organización y evitar el uso de servicios de GenAI públicos donde pueda haber exposición de información confidencial del Banco.
Solución
Tomando en cuenta el requerimiento del cliente, Nubiral propuso disponer de su servicio en el esquema de Profile as a Service, en el cual interviene un equipo multidisciplinario orientados a desarrollar un Chat Bot con la posibilidad que cada usuario pueda cargar su propio PDF.
Un archivo por interacción y que se pueda realizar consultas sobre la información del PDF y/o solicitar al chatbot generación de texto.
Con memoria de 5 conversaciones. Se le adicionó seguridad de usuarios y capa analítica para control de consumos.
Resultados
Se desarrolló una interfaz del asistente conversacional y un modelo donde el agente (chatbot) del Banco es un chatbot diseñado para interactuar con un índice de OpenSearch.
Dependiendo del mensaje del usuario, el chatbot evalúa si necesita consultar información adicional en el índice. Si considera que es necesario, realiza la consulta a OpenSearch y, con el nuevo contexto obtenido, elabora su respuesta. En caso contrario, responde únicamente basándose en el historial del chat.
Cabe destacar que el historial de chat siempre está disponible en su contexto para responder a las preguntas del usuario. Además, todos los chats de los usuarios se almacenan en S3, y los tokens utilizados en cada conversación se registran en DynamoDB. El único conteo de tokens que se actualiza dinámicamente se encuentra en la tabla de usuarios.
