Las empresas están avanzando en la adopción de modelos de lenguaje de gran escala (LLMs) para optimizar el análisis de datos internos, gracias a Amazon Bedrock, un servicio que ofrece una gama de modelos de inteligencia artificial de alto rendimiento. Este servicio, completamente gestionado, proporciona acceso a innovadores modelos de destacados proveedores como AI21 Labs, Anthropic y Stability AI mediante una única API, y enfatiza aspectos cruciales como la seguridad, la privacidad y un enfoque responsable en la inteligencia artificial generativa.
Uno de los desafíos que enfrentan las organizaciones que implementan inteligencia artificial conversacional es la lentitud en el procesamiento de consultas complejas, que requieren lógica de razonamiento y acción (ReAct). Este obstáculo puede afectar negativamente la experiencia del usuario, especialmente en sectores regulados con estrictos requisitos de seguridad. Un caso revelador se dio en una global de servicios financieros que gestionaba más de 1.5 billones de dólares en activos y que, a pesar de haber implementado un sistema conversacional sofisticado, buscaba mejorar la velocidad de respuesta para estas consultas críticas sin comprometer su protocolo de seguridad.
La respuesta a este problema se encuentra en AWS AppSync, un servicio que permite a los desarrolladores construir APIs GraphQL sin servidor y en tiempo real. Gracias a la combinación de AWS AppSync con los puntos finales de streaming de Amazon Bedrock, es posible entregar respuestas incrementales de LLMs, abordando así la necesidad de rapidez en el contexto de consultas complejas.
La estrategia incluye un enfoque asíncrono para iniciar el flujo de trabajo conversacional. A través de una función de AWS Lambda, se interactúa con la API de streaming de Amazon Bedrock, transmitiendo los tokens generados al front-end mediante mutaciones y suscripciones de AWS AppSync. Este flujo asegura que, al consultar, el usuario reciba un mensaje de confirmación casi al instante, mientras que la consulta completa se procesa en segundo plano.
El proceso detallado implica la activación de varios pasos para asegurarse de que el usuario reciba respuestas en tiempo real. Desde el inicio de la aplicación, se establece una conexión WebSocket, permitiendo una comunicación fluida. Tras la formulación de una consulta, se invoca una función GraphQL que publica un evento en Amazon Simple Notification Service (SNS), y una vez que se recibe esta notificación, se inicia la comunicación con la API de Amazon Bedrock para obtener tokens en streaming, los cuales son enviados al usuario de inmediato.
Los resultados de esta implementación son notables. Una entidad en el sector financiero reportó una reducción en los tiempos de respuesta de consultas complejas, disminuyendo de aproximadamente 10 segundos a entre 2 y 3 segundos. Esta mejora no solo optimiza la interacción con los usuarios, sino que también eleva la satisfacción y el compromiso en sus aplicaciones, lo que puede traducirse en una menor tasa de abandono y un mayor involucramiento de los clientes.
