En un mundo donde la inteligencia artificial (IA) y el aprendizaje automático (ML) están ganando terreno en diversas industrias, un cliente especializado en soluciones de inteligencia de video basadas en modelos YOLOv8 enfrentó el reto de optimizar sus costos y rendimientos en la implementación de modelos de IA. Para enfrentar este desafío, recurrió a Automat-it, un socio Premier de Amazon Web Services (AWS), con el objetivo de diseñar e implementar una plataforma en la nube utilizando Elastic Kubernetes Service (EKS).
El objetivo primordial de esta colaboración era lograr una escalabilidad y un rendimiento óptimos sin que los costos se dispararan. Inicialmente, cada modelo de IA requería el uso de una instancia de GPU dedicada, lo que resultaba en un uso ineficiente de recursos y costos operativos elevados. En este sentido, se estableció que el gasto en infraestructura no debía superar los 30 dólares por cámara al mes, y el tiempo total de procesamiento no podía exceder los 500 milisegundos.
En un primer intento para solucionar el problema, se implementó una arquitectura cliente-servidor que separaba las etapas de procesamiento de los modelos. Sin embargo, esta solución resultó insatisfactoria, ya que los costos se mantenían altos, alcanzando los 353,03 dólares mensuales por cámara, a pesar de que el rendimiento era adecuado.
Frente a esta situación, Automat-it propuso una solución más innovadora: cambiar a un sistema de «time slicing» de GPU, que permite que varios modelos de IA compartan una única GPU. Esta estrategia no solo optimiza la utilización de recursos, sino que también disminuye significativamente los costos operativos. La implementación de esta técnica se realizó en el clúster de EKS con ayuda del plugin de NVIDIA para Kubernetes, lo que facilitó la escalabilidad y aligeró la carga operativa.
Después de un riguroso proceso de pruebas y ajustes en la configuración, se logró una reducción notable en los costos de operación. Al final, el costo por cámara descendió a 27,81 dólares, lo que representa una disminución de más de doce veces en comparación con el modelo inicial, sin comprometer el rendimiento de los modelos.
Este caso ejemplifica cómo una adecuada optimización de recursos en el ámbito de la inteligencia artificial no solo ayuda a las empresas a reducir costos, sino también a mantener un nivel de servicio que responda a las expectativas de sus clientes. La combinación de enfoques tecnológicos avanzados y la nube ha demostrado ser un camino efectivo para mejorar la eficiencia operativa en el uso de modelos de IA.
