Las organizaciones que expanden su infraestructura de inteligencia artificial para abarcar modelos de billones de parámetros enfrentan un dilema desafiante: encontrar un equilibrio entre reducir el tiempo de entrenamiento a un costo más bajo o acelerar el proceso, asumiendo un mayor gasto. La técnica de «checkpointing» se ha vuelto crucial en este contexto, ya que permite acelerar el tiempo de recuperación y minimizar las pérdidas durante el entrenamiento. No obstante, su implementación puede generar costos de almacenamiento elevados. Si se opta por realizar el «checkpointing» de manera poco frecuente, los costos se reducen, pero se incrementa el riesgo de perder avances significativos en el entrenamiento, especialmente ante los fallos comunes en entornos distribuidos que utilizan miles de procesadores gráficos.
Durante el proceso de entrenamiento del modelo Meta Llama 3 se reportó un fallo cada tres horas, de los cuales el 60% fueron atribuibles a problemas con las GPUs. Los fallos restantes se debieron a inconvenientes relacionados con redes, CPUs y discos. Esta inestabilidad puede resultar en la pérdida de días de avance, lo que no solo incrementa tanto los costos como el tiempo de comercialización, sino que también complica la planificación de los proyectos.
Reconociendo estos desafíos, AWS ha presentado el «checkpointing» en capas gestionadas a través de Amazon SageMaker HyperPod, una infraestructura diseñada para escalar y acelerar el desarrollo de modelos de inteligencia artificial generativa. Esta innovadora solución aprovecha la memoria del CPU para el almacenamiento de puntos de control de alto rendimiento, replicando automáticamente los datos en nodos de cálculo adyacentes, lo que mejora la fiabilidad del sistema.
SageMaker HyperPod no solo identifica automáticamente problemas en los nodos y reemplaza aquellos afectados para reanudar el proceso de entrenamiento, sino que también ayuda a implementar estrategias óptimas de «checkpointing», maximizando el rendimiento del entrenamiento. Esta función ha sido puesta a prueba en clústeres grandes de entrenamiento distribuidos, en configuraciones que van desde cientos hasta más de 15,000 GPUs, logrando guardar puntos de control en cuestión de segundos.
La implementación de esta característica no requiere de una experiencia técnica avanzada y se puede incorporar fácilmente en scripts de entrenamiento de PyTorch. Además, el «checkpointing» en capas gestionadas permite a las organizaciones establecer tanto la frecuencia como las políticas de retención para el almacenamiento en memoria y almacenamiento persistente, utilizando Amazon S3 como una opción adicional. Esta tecnología optimiza significativamente el tiempo de recuperación y la gestión de puntos de control en comparación con enfoques tradicionales que dependen de almacenamiento remoto persistente.
Los mejores resultados se obtienen configurando la escritura de puntos de control en la capa de memoria con frecuencia, mientras que las copias en Amazon S3 pueden realizarse de manera menos frecuente. Con estas capacidades, la combinación del «managed tiered checkpointing» y SageMaker HyperPod promete mantener un alto rendimiento en el entrenamiento, incluso en entornos a gran escala que son propensos a fallos.
