El equipo de Inteligencia Artificial de Salesforce ha implementado una innovadora solución para optimizar el despliegue de modelos de lenguaje grande (LLMs) a través de Amazon Bedrock Custom Model Import. Este avance se produce tras enfrentar desafíos significativos en la gestión de infraestructura, que anteriormente requerían extensos esfuerzos de optimización, incluyendo meses de ajustes en instancias, motores de servicio y configuraciones. Estos procesos no solo prolongaban el tiempo de implementación, sino que también aumentaban significativamente los costos operativos, sobre todo debido a las reservas de capacidad de GPU.
Con el uso de Amazon Bedrock, Salesforce ha logrado enfocar sus recursos en el desarrollo de modelos y en la lógica empresarial, reduciendo así la carga operativa vinculada a la infraestructura. La integración se llevó a cabo de manera cuidadosa, asegurando que las cargas de trabajo productivas no se viesen interrumpidas; de hecho, las API y las interfaces de servicio de modelos permanecieron sin cambios, lo que permitió un despliegue sin tiempos de inactividad.
La fase de implementación incluyó mejoras en el proceso de entrega de modelos, donde los registros de los modelos se realizan a través del API de Amazon Bedrock Custom Model Import después de que los artefactos son almacenados en un bucket de Amazon S3. Esta nueva metodología permite un tiempo de despliegue de aproximadamente una hora, incrementando así la eficiencia operativa. Amazon Bedrock se encarga de pre-cargar los modelos, eliminando la necesidad de descargar pesos al inicio del contenedor, lo que contribuye a un arranque más rápido.
Salesforce también llevó a cabo pruebas de carga para validar la capacidad de escalabilidad que ofrece Amazon Bedrock. Los resultados obtenidos indicaron que, en niveles bajos de concurrencia, se alcanzó una latencia un 44% menor en comparación con un modelo base, además de mantener un rendimiento consistente bajo cargas pesadas. Esta funcionalidad de autoescalado permite al servicio adaptarse eficazmente a las demandas en tiempo real, asegurando un rendimiento óptimo.
Desde una perspectiva operativa, Salesforce ha conseguido reducir en un 30% el tiempo necesario para iterar y desplegar modelos, así como un ahorro de costos de hasta el 40%, gracias a la flexibilidad del modelo de pago por uso. Esto resulta especialmente ventajoso en entornos de desarrollo, donde los recursos de GPU solo se requieren durante períodos activos.
Las lecciones aprendidas durante este proceso subrayan la relevancia de validar la compatibilidad del modelo antes del despliegue y enfatizan la consideración de los tiempos de inicio para aquellos modelos de mayor envergadura. Para las organizaciones que buscan simplificar el proceso de despliegue de modelos de lenguaje a gran escala, la experiencia de Salesforce proporciona un marco claro para abordar desafíos operativos y de costos sin comprometer el rendimiento.
