Con el crecimiento de los grandes modelos de lenguaje (LLMs) y el auge de la inteligencia artificial generativa, surge la necesidad de soluciones de inferencia que sean eficientes, escalables y de baja latencia. Ante este contexto, NVIDIA ha lanzado Dynamo, un marco de trabajo de inferencia de código abierto diseñado específicamente para optimizar el rendimiento y la escalabilidad en entornos distribuidos.
Dynamo es compatible con diversas herramientas de Amazon Web Services (AWS), como Amazon S3, Elastic Fabric Adapter (EFA) y Amazon Elastic Kubernetes Service (EKS). Además, se puede desplegar en instancias de Amazon EC2 que utilizan GPU, incluyendo las recién anunciadas P6, que funcionan con la arquitectura NVIDIA Blackwell.
Este nuevo marco ofrece una flexibilidad notable, ya que permite a los desarrolladores elegir los componentes de servicio, servidores API y bibliotecas de transferencia de datos que mejor se adapten a sus necesidades específicas. Entre las características destacadas de Dynamo se encuentran la separación de las fases de prellenado y decodificación de los LLM, la optimización dinámica de recursos de GPU, y un enrutador inteligente que minimiza la recomputación de datos, mejorando así el rendimiento general.
Una de las innovaciones más relevantes de este marco es el «Planificador Dynamo», que gestiona de manera efectiva los recursos de GPU en entornos de inferencia dinámica. Este componente está diseñado para monitorear señales en tiempo real, como las tasas de solicitud y las longitudes de secuencia, permitiendo asignar los recursos necesarios de forma inteligente y adaptándose a los picos de demanda.
El «Enrutador Inteligente» de Dynamo también juega un papel crucial, ya que permite la reutilización de la memoria caché de clave-valor (KV). Al dirigir las solicitudes a los trabajadores que ya poseen los datos requeridos, se logra una notable reducción en el tiempo de inferencia y un uso más eficiente de la capacidad de GPU.
Adicionalmente, el «Gestor de Bloques KV» resuelve el problema de almacenar grandes volúmenes de datos en la costosa memoria de alto ancho de banda de GPU. Este enfoque jerárquico facilita mover bloques de caché que tienen baja demanda a opciones de almacenamiento más económicas.
El marco incluye también NIXL, una biblioteca de comunicación optimizada para la transferencia de datos a alta velocidad entre GPU, esencial para mantener un rendimiento elevado en implementaciones de inteligencia artificial distribuidas.
Por su parte, Amazon EKS se perfila como una plataforma ideal para ejecutar cargas de trabajo de inferencia LLM distribuidas, gracias a su integración sólida con otros servicios de AWS y sus capacidades de rendimiento. El soporte de Karpenter para escalado automático y EFA para conectividad de baja latencia simplifica la gestión de recursos, haciéndola más fluida y eficiente.
Con las empresas cada vez más interesadas en las posibilidades que ofrece la inteligencia artificial y los modelos de lenguaje, NVIDIA Dynamo emerge como una solución prometedora, fusionando innovación con eficiencia y permitiendo a las organizaciones maximizar sus inversiones en esta tecnología.
