Amazon ha lanzado nuevas capacidades para su plataforma Amazon Bedrock, permitiendo a las organizaciones evaluar modelos fundamentales y sistemas de Generación Aumentada por Recuperación de manera más efectiva. Esta actualización ofrece a los usuarios la posibilidad de evaluar tanto modelos alojados en Amazon Bedrock como aquellos que funcionan en otras plataformas, a través de las nuevas Evaluaciones de Amazon Bedrock.
Una de las innovaciones más destacadas es la técnica denominada «LLM-as-a-judge», que realiza evaluaciones automatizadas con una calidad comparable a la humana. Este enfoque permite la evaluación de diferentes dimensiones de la inteligencia artificial responsable, como la exactitud y la exhaustividad, sin necesidad de intervención manual. Además, las organizaciones pueden utilizar métricas personalizadas que se alineen con sus requisitos de negocio específicos, facilitando una evaluación más significativa de sus aplicaciones de inteligencia artificial generativa.
El nuevo sistema también incluye plantillas predefinidas y métricas construidas según criterios generales, mientras que permite a los usuarios diseñar métricas a medida que reflejen mejor sus necesidades. Entre las funciones disponibles se encuentra la posibilidad de integrar contenido dinámico en las evaluaciones, así como opciones avanzadas para definir formatos de salida personalizados.
Esta actualización tiene como objetivo ayudar a las empresas a mantener la calidad de sus sistemas de inteligencia artificial y a mejorar continuamente alineados con sus objetivos estratégicos. La incorporación de métricas personalizadas no solo amplía las capacidades de evaluación, sino que promueve un análisis más robusto y contextualizado de los resultados, generando un impacto más significativo en el rendimiento del negocio.
