Microsoft ha introducido Mu, su innovador modelo de lenguaje diseñado para mejorar la interacción con el agente de Configuración en Windows. Este modelo se caracteriza por su capacidad para operar de forma eficiente en dispositivos locales, especialmente aquellos equipados con Unidad de Procesamiento Neural (NPU), lo que le permite inferir relaciones complejas entre entradas y salidas con un rendimiento notable.
Mu es capaz de procesar más de 100 tokens por segundo, lo que lo convierte en una herramienta ideal para situaciones que exigen respuestas rápidas y precisas. Con su arquitectura de transformador optimizada, que utiliza un diseño de codificador-decodificador, el modelo reduce la latencia y mejora el rendimiento en comparación con modelos que solo utilizan decodificación.
Durante su desarrollo, Microsoft implementó diversas optimizaciones para garantizar la eficacia de Mu en NPUs. Esto incluyó ajustes en la arquitectura del modelo y una disposición optimizada de los parámetros, lo que maximiza la eficiencia en operaciones específicas de hardware. Además, el modelo incorpora técnicas avanzadas de cuantización, que permiten su funcionamiento óptimo sin comprometer la precisión.
Para crear el agente en la Configuración, Microsoft entrenó a Mu con millones de ejemplos, enfocándose en facilitar consultas de lenguaje natural que permitan a los usuarios realizar cambios en los ajustes del sistema. Este proceso tuvo como objetivo reducir los tiempos de respuesta a menos de 500 milisegundos, un objetivo que Mu ha alcanzado con éxito.
El desarrollo de Mu no solo optimiza la experiencia del usuario al permitir interacciones más naturales con el sistema operativo, sino que también marca un avance significativo en las capacidades de los modelos de lenguaje para operar en dispositivos de menor potencia. La colaboración con equipos de ciencia aplicada fue esencial en el refinamiento y la optimización del modelo, centrándose en la retroalimentación del usuario para seguir mejorando la experiencia.
