La evaluación de los modelos de lenguaje de gran tamaño (LLMs) ha experimentado una notable evolución en los últimos tiempos, alejándose de las métricas tradicionales como la perplexidad o los puntajes BLEU. En situaciones del mundo real, especialmente en áreas como la generación de contenido y el desarrollo de agentes inteligentes, es crucial determinar si un modelo supera una referencia previa o una iteración anterior. Esta necesidad subraya la importancia de juicios subjetivos y de una corrección matizada en los resultados.
El creciente uso de estos modelos en producción ha generado una demanda por métodos sistemáticos de evaluación de la calidad, que vayan más allá de las técnicas convencionales. Aunque las mediciones de precisión y las evaluaciones basadas en reglas son útiles, no abordan completamente la complejidad requerida en tareas que exigen juicios subjetivos o una comprensión contextual. Para cubrir esta necesidad, ha surgido el enfoque LLM-as-a-judge, que utiliza las capacidades de razonamiento de los LLMs para realizar evaluaciones más flexibles y a gran escala.
Recientemente, Amazon presentó su capacidad Nova LLM-as-a-Judge en Amazon SageMaker AI, un servicio que permite construir, entrenar y desplegar modelos de aprendizaje automático de manera completamente administrada. Esta nueva herramienta está diseñada para ofrecer evaluaciones robustas y no sesgadas de los resultados de la inteligencia artificial generativa, además de abarcar diversas familias de modelos. Con Amazon Nova, los usuarios pueden evaluar el rendimiento del modelo en cuestión de minutos, utilizando flujos de trabajo optimizados que permiten comparaciones detalladas entre diferentes iteraciones.
La función Nova LLM-as-a-Judge fue desarrollada mediante un proceso de entrenamiento en múltiples etapas que combina aprendizaje supervisado y por refuerzo, utilizando conjuntos de datos públicos revisados por anotadores humanos. Este enfoque asegura que miles de ejemplos sean comparados por varios evaluadores, garantizando la consistencia y equidad en las evaluaciones, reflejando un consenso más amplio de los humanos. Los datos de entrenamiento son diversos y abarcan una amplia gama de categorías y más de 90 idiomas.
Un estudio exhaustivo sobre sesgo interno, que incluyó más de 10,000 juicios de preferencias humanas, mostró que Nova presenta un sesgo agregado de solo un 3% en comparación con las anotaciones humanas. Esto es un avance significativo en la reducción del sesgo sistemático en evaluaciones automáticas. Aunque se sugieren controles ocasionales para validar comparaciones críticas, los resultados indican una fuerte alineación con los juicios humanos en diversas tareas, destacando especialmente en evaluaciones vinculadas a chatbots.
El marco de evaluación de Amazon Nova genera métricas cuantitativas que permiten a los usuarios determinar cuál modelo tiene un mejor desempeño y cuán confiable es esa evaluación. Estas métricas se organizan en categorías como métricas de preferencia básicas, métricas de confianza estadística y métricas de error estándar, brindando así una base estadística rigurosa para realizar comparaciones y tomar decisiones informadas sobre qué modelo implementar.
La capacidad de Amazon Nova para ofrecer evaluaciones precisas y automáticas representa un avance importante en la medición de la efectividad de los modelos de inteligencia artificial generativa. Esto facilita el desarrollo de aplicaciones más sofisticadas y alineadas con necesidades comerciales específicas, al tiempo que ofrece soluciones escalables y reportes visuales claros que hacen más accesibles los resultados y permiten ajustar los sistemas conforme se identifiquen áreas de mejora.
