En un avance significativo en el ámbito de la inteligencia artificial, Amazon ha presentado Rufus, un asistente de compras que utiliza inteligencia artificial generativa y que ya está disponible para millones de usuarios. La implementación de este innovador modelo, sin embargo, enfrenta desafíos importantes que requieren una atención meticulosa. Rufus se basa en un modelo de lenguaje grande, diseñado a medida, lo que implica una necesidad constante de mantener interacciones de alta calidad al tiempo que se asegura una eficiencia en costos y baja latencia.
Para abordar estas dificultades, el equipo de Amazon ha desarrollado una solución de inferencia multi-nodo que utiliza los chips Amazon Trainium y la biblioteca de código abierto vLLM, que se especializa en la atención eficiente y de alto rendimiento en la entrega de modelos de lenguaje. La expansión del modelo de Rufus ha aumentado la necesidad de múltiples instancias de aceleradores, ya que un único chip no puede albergar la complejidad del modelo completo. Esto ha llevado a los ingenieros a innovar en la fragmentación y distribución del modelo a través de diferentes nodos, incorporando técnicas avanzadas como el paralelismo tensorial.
Las estrategias empleadas para optimizar el rendimiento del modelo incluyen el máximo aprovechamiento de los recursos computacionales y de memoria en múltiples nodos, minimizando al mismo tiempo la latencia. Asimismo, se ha diseñado una infraestructura de inferencia multi-nodo que permite una comunicación rápida entre nodos, asegurando una integración fluida entre los componentes distribuidos.
La instalación de la arquitectura de inferencia multi-nodo opera bajo un sistema de modelo líder/seguidor. El nodo líder se encarga de la programación de solicitudes y de la orquestación, mientras que los nodos seguidores se dedican a ejecutar los cálculos del modelo de manera distribuida. Esta configuración asegura que cada nodo siga una trayectoria de ejecución coherente, lo que potencia la eficiencia general del sistema.
Esta estrategia de implementación ha permitido a Amazon manejar solicitudes a gran escala de manera efectiva, gracias a un diseño que favorece la colocación de nodos de acuerdo con la topología de la red, lo que contribuye a reducir la latencia. Con esta infraestructura robusta, Amazon ha logrado lanzar un modelo que opera en decenas de miles de chips Trainium, ampliando su capacidad y brindando una experiencia de compras innovadora, además de mejorar significativamente la interacción con los usuarios.
Con estos desarrollos, Amazon sigue consolidando su posición en el sector de la inteligencia artificial, permitiendo que Rufus proporcione un servicio de preguntas y respuestas en tiempo real, siempre accesible para sus clientes.
