Amazon ha presentado una innovadora experiencia de creación de clústeres a través de su plataforma SageMaker HyperPod. Esta nueva herramienta tiene como objetivo facilitar la configuración de clústeres de entrenamiento e inferencia distribuidos mediante un simple clic, eliminando así errores comunes que suelen surgir durante el proceso de configuración. La solución permite la orquestación de clústeres utilizando Slurm o Amazon Elastic Kubernetes Service (EKS) y garantiza una red segura a través de Amazon Virtual Private Cloud (VPC), junto con un almacenamiento de alto rendimiento.
Con SageMaker HyperPod, los usuarios tienen la capacidad de escalar de manera eficiente tareas complejas, como el entrenamiento de inteligencia artificial generativa o la optimización de modelos. Esta plataforma permite la integración de clústeres que pueden incluir cientos o incluso miles de aceleradores de IA. Además, lleva un monitoreo continuo del hardware, resolviendo automáticamente problemas y asegurando la recuperación de las cargas de trabajo sin necesidad de intervención manual.
Anteriormente, los usuarios necesitaban realizar configuraciones manuales de varios recursos en AWS, lo que generaba puntos de fallo potencial. La nueva experiencia simplifica este proceso, permitiendo la creación de todos los recursos necesarios en un solo paso y aplicando automáticamente valores predeterminados recomendados.
En la consola de Amazon SageMaker AI, se han introducido nuevas opciones de despliegue que incluyen una configuración rápida y otra personalizada. La configuración rápida utiliza valores predeterminados para grupos de instancias, redes, orquestación y permisos, mientras que la opción personalizada ofrece un control más detallado sobre cada uno de estos parámetros.
La configuración automática no solo crea un nuevo VPC y subredes, sino que también genera un nuevo clúster EKS con la última versión de Kubernetes. Asimismo, se almacenan scripts de ciclo de vida en un nuevo bucket de S3. La configuración personalizada permite utilizar un VPC o grupo de seguridad existentes, y la instalación de operadores específicos en el clúster de EKS.
Ambas modalidades incluyen la posibilidad de añadir nuevos grupos de instancias, desde grupos estándar hasta opciones restringidas, proporcionando a los usuarios la libertad de elegir entre capacidades a demanda o planes de entrenamiento flexibles. SageMaker HyperPod también incorpora avanzadas herramientas de verificación de salud y opciones para personalizar scripts de ciclo de vida, convirtiéndola en una solución robusta para el entrenamiento de modelos de aprendizaje automático a gran escala.
Este avance en la creación de clústeres de SageMaker HyperPod está orientado a simplificar el establecimiento de infraestructuras efectivas y duraderas, optimizando la implementación para integrarse sin problemas en flujos de trabajo de entrega continua. Con esta actualización, Amazon busca promover una adopción más accesible de entornos de entrenamiento personalizados, alineándose con las diversas necesidades de los usuarios en el campo de la inteligencia artificial y el aprendizaje automático.
