La formación de modelos de lenguaje de última generación exige una infraestructura informática distribuida avanzada. Un caso notable es el de Llama 3, desarrollado por Meta, que ha utilizado un impresionante conjunto de 16,000 GPUs NVIDIA H100 durante más de 30.84 millones de horas de GPU. En este contexto, Amazon Elastic Kubernetes Service (EKS) se ha presentado como una solución administrada que simplifica el despliegue, gestión y escalabilidad de clústeres de Kubernetes, especialmente útil para entrenar estos modelos masivos.
Para facilitar la configuración de cargas de trabajo distribuidas, AWS ofrece Deep Learning Containers (DLCs), que son imágenes preconstruidas y optimizadas para frameworks como PyTorch. Esto permite a los equipos lanzar trabajos con mayor rapidez y menos problemas de compatibilidad. Sin embargo, configurar clústeres para entrenamiento de grandes dimensiones presenta desafíos significativos.
Una de las principales dificultades radica en la configuración de las GPUs en las instancias de Amazon EC2 utilizadas para el entrenamiento distribuido. Estas instancias están clasificadas en dos familias: la familia G, que es más asequible y está diseñada para inferencias y entrenamientos más ligeros, y la familia P, especializada en trabajos masivos y distribuidos. Aunque las instancias G son una opción económica, carecen del ancho de banda elevado y la baja latencia necesarios para proyectos de gran escala. Por el contrario, las instancias P, a pesar de su velocidad, requieren una configuración precisa de red y almacenamiento, así como una meticulosa topología de GPUs, lo que incrementa su complejidad operativa y puede generar errores.
Para evitar problemas de configuración en el entrenamiento con Amazon EKS, es esencial seguir un enfoque sistemático que verifique la correcta instalación de todos los componentes necesarios. El proceso abarcará varias etapas, desde la construcción de una imagen Docker con las dependencias requeridas mediante un DLC de PyTorch hasta el lanzamiento de la infraestructura necesaria en un clúster de GPU estable. En esta fase, es esencial instalar plugins específicos para dispositivos GPU, soporte de Elastic Fabric Adapter (EFA) y sistemas de almacenamiento persistente. Posteriormente, se realizan chequeos de salud para asegurar que todos los nodos están listos y correctamente configurados, seguido de un pequeño trabajo de entrenamiento para validar el sistema.
Para este tipo de configuración, se recomienda tener una cuenta de AWS con cuotas suficientes para instancias G y un token de Hugging Face que permita el acceso al modelo Meta Llama 2 7B. La construcción de una imagen Docker a partir de AWS DLCs, optimizadas para frameworks populares como PyTorch, es crucial para el éxito de la operación.
Por otro lado, es necesario configurar un clúster EKS que incluya tanto un grupo de nodos de sistema como uno de GPU. Esto implica la instalación de varios complementos de Amazon EKS para garantizar el almacenamiento adecuado y la observación del clúster. Una adecuada configuración final de estos nodos y complementos permite crear un entorno productivo para cargas de trabajo de entrenamiento distribuidas a gran escala.
El proceso de validación de la configuración implica verificar que los drivers de GPU y la comunicación entre nodos operan con eficacia, además de ejecutar una carga de trabajo de validación que asegure la correcta integración de la infraestructura. Este enfoque permite a los equipos concentrarse en la innovación y en la mejora del rendimiento de los modelos, eliminando el peso de la complejidad de la infraestructura subyacente.
