La reciente adopción de modelos de lenguaje de gran escala (LLMs) ha revolucionado la forma en la que los usuarios interactúan con la tecnología. Sin embargo, su implementación enfrenta notables desafíos, especialmente en términos de latencia de inferencia, capacidad de procesamiento limitado y altos costos asociados a la generación de texto. Estos problemas se vuelven particularmente críticos durante eventos masivos como el Amazon Prime Day, donde asistentes de compras basados en inteligencia artificial, como Rufus, deben gestionar un volumen colosal de consultas mientras cumplen con estrictos requisitos de rendimiento.
Rufus fue diseñado con el objetivo de ayudar a los consumidores a tomar decisiones informadas sobre sus compras, ofreciendo respuestas precisas a una amplia gama de preguntas. Para lograrlo, el sistema se apoya en un modelo LLM que genera respuestas y un modelo de planificación que optimiza la clasificación de consultas y la recuperación de información. La eficiencia en este proceso es fundamental, dado que la generación de texto solo puede iniciarse una vez que se completa la planificación.
Con el Prime Day de 2024 acercándose, Rufus tuvo que afrontar el desafío de procesar millones de consultas por minuto y generar miles de millones de tokens en tiempo real, mientras mantenía un compromiso de latencia de 300 milisegundos. Para superar estas limitaciones, se realizó un replanteamiento en la implementación de los LLMs a gran escala, buscando mitigar los cuellos de botella en costos y rendimiento.
Una de las estrategias más efectivas ha sido la implementación de la técnica de decodificación paralela, que permite a Rufus generar múltiples tokens simultáneamente, eliminando las ineficiencias del modelo secuencial tradicional. En esta jornada de compras, el equipo de Rufus optimizó su rendimiento utilizando chips de inteligencia artificial de AWS, lo que no solo duplicó la velocidad de generación de texto, sino que también permitió reducir en un 50% los costos de inferencia.
Los resultados obtenidos fueron significativos, con Rufus mostrando una respuesta más rápida que mejoró considerablemente la experiencia del cliente. Esta combinación de decodificación paralela y soluciones de AWS facilitó un despliegue eficiente y adaptado al tráfico máximo, sin comprometer la calidad de las respuestas.
La sinergia alcanzada mediante la optimización y la implementación del modelo resalta el potencial de las soluciones de inteligencia artificial para crear experiencias de compra más fluidas y eficaces. De cara al futuro, la integración del marco Neuronx-Distributed Inference (NxDI) junto con los chips de AWS representa un avance considerable hacia la escalabilidad y sostenibilidad económica de los LLMs, abriendo nuevas oportunidades para futuras aplicaciones en el campo de la inteligencia artificial.
