En 2024, el Ministerio de Economía, Comercio e Industria de Japón dio a conocer el Generative AI Accelerator Challenge (GENIAC), un programa nacional destinado a impulsar la inteligencia artificial generativa en el país. Este ambicioso proyecto ofrece a las empresas no solo financiación, sino también asesoramiento y acceso a potentes recursos computacionales para el desarrollo de modelos fundamentales. En este contexto, Amazon Web Services (AWS) fue destacado como el proveedor de infraestructura en la segunda fase del GENIAC, brindando apoyo técnico a 12 organizaciones participantes.
A primera vista, la tarea de proveer acceso a una potente infraestructura de hardware, incluyendo cientos de GPUs y chips Trainium, parecía ser un desafío sencillo. Sin embargo, la experiencia mostró que el entrenamiento exitoso de modelos fundamentales requiere mucho más que solo tecnología avanzada. AWS comprendió que disponer de más de 1,000 aceleradores era solo un punto de partida, ya que la verdadera complejidad radicaba en establecer un sistema que funcione de manera confiable y en superar los obstáculos del entrenamiento distribuido.
Durante esta fase, las 12 organizaciones lograron implementar 127 instancias de Amazon EC2 P5, servidores equipados con la GPU NVIDIA H100 TensorCore, y 24 instancias de Amazon EC2 Trn1 en un solo día. En los siguientes seis meses, varios modelos de gran envergadura fueron entrenados, incluyendo proyectos destacados como Stockmark-2-100B-Instruct-beta y Llama 3.1 Shisa V2 405B.
Un hallazgo fundamental de esta experiencia fue la importancia de contar con equipos multidisciplinarios para llevar adelante iniciativas de aprendizaje automático a gran escala. AWS formó un equipo virtual que integró a especialistas en cuentas, arquitectos de soluciones y equipos de servicio, creando un entorno propicio para el intercambio efectivo de conocimientos y apoyo.
La comunicación estructurada se reveló igualmente crucial. Se habilitó un canal interno en Slack que facilitó la coordinación del programa, permitiendo la rápida resolución de problemas y creando un espacio donde los participantes podían formular preguntas y compartir información. Para asegurar un seguimiento adecuado, AWS mantuvo documentación detallada sobre cada cliente, clarificando requisitos técnicos y configuraciones. A través de reuniones semanales, el equipo pudo compartir aprendizajes y mejorar el modelo participativo continuamente.
La creación de arquitecturas de referencia también fue esencial en este proceso. En lugar de que cada equipo comenzara desde cero, AWS desarrolló plantillas y automatizaciones prevalidadas para facilitar dos enfoques principales: AWS ParallelCluster y SageMaker HyperPod. Estas estructuras técnicas cubrieron todo el stack, permitiendo a los equipos desplegar sus entornos con mínima fricción.
El programa GENIAC ha evidenciado que el entrenamiento a gran escala de modelos fundamentales no solo es un desafío técnico, sino también organizativo. Gracias a un soporte estructurado y colaborativo, un pequeño grupo de participantes logró ejecutar grandes cargas de trabajo en la nube con éxito. A medida que concluía esta segunda fase, se organizó un evento técnico en Tokio para preparar a los desarrolladores para la siguiente etapa del GENIAC, lo que subraya un avance significativo en el ámbito de la inteligencia artificial generativa. AWS reafirma su compromiso con el progreso en el desarrollo de estas tecnologías a nivel global.
