Amazon Web Services (AWS) ha lanzado de manera general la asignación de cuotas de computación y memoria de forma granular a través de la gobernanza de tareas de SageMaker HyperPod. Esta innovadora funcionalidad está diseñada para ayudar a los usuarios a optimizar el uso de los clústeres de Amazon SageMaker HyperPod en el servicio Amazon Elastic Kubernetes Service (EKS). El objetivo principal es garantizar que los recursos se distribuyan equitativamente entre diferentes equipos y proyectos, lo que resulta crucial en escenarios donde el presupuesto es una limitación importante.
El nuevo mecanismo de gestión de cuotas permitirá a los administradores establecer y controlar límites en los recursos computacionales, evitando así que un único grupo monopolice los recursos del clúster. Esta característica cobra especial relevancia para aquellas organizaciones que requieren gestionar los recursos de manera justa y eficiente, especialmente cuando se tiene que repartir recursos entre múltiples equipos.
Con la gobernanza de tareas de HyperPod, los administradores tienen la capacidad de asignar de forma más específica recursos como GPU, vCPU y memoria de vCPU según las necesidades de cada equipo o proyecto. Esto incluye la posibilidad de asignar cuotas de GPU en función del tipo y familia de instancia, así como establecer prioridades que influyan en la asignación de recursos no utilizados entre los equipos.
Daniel Xu, Director de Producto de Snorkel AI, resaltó la importancia de esta innovación para maximizar la utilización de los clústeres, especialmente en situaciones que requieren experimentos complejos y pipelines de producción. Xu afirmó que el control sobre el acceso a recursos compartidos, como las GPUs de última generación, es esencial para mejorar la eficiencia en el uso de clústeres.
El flujo de trabajo para la creación de asignaciones de recursos será familiar para los administradores, quienes podrán utilizar la consola de gestión de AWS para definir políticas que prioricen las cargas de trabajo críticas y distribuyan la computación disponible entre los equipos. Esta funcionalidad resulta especialmente útil para aquellos que realizan experimentos con modelos de inteligencia artificial, donde la gestión eficiente de los recursos puede tener un impacto significativo en el rendimiento general.
Asimismo, Amazon SageMaker HyperPod ahora es compatible con clústeres que incorporan instancias tanto basadas en CPU como en GPU y hardware AWS Neuron. Esto permitirá a los equipos hacer especificaciones precisas sobre las asignaciones de recursos, mejorando así la gestión de la computación en respuesta a la creciente diversidad de necesidades en el aprendizaje automático. Con esta nueva característica, AWS se reafirma como un líder en la optimización de infraestructuras dedicadas a la inteligencia artificial y el aprendizaje automático, asegurando que los equipos cuenten con el acceso necesario a recursos sin incurrir en desperdicio.
