Amazon Bedrock, la plataforma de inteligencia artificial en la nube de la compañía, ha implementado una nueva funcionalidad que proporciona soporte para probabilidades logarítmicas en su función de Importación de Modelos Personalizados. Esta adición permite a los desarrolladores integrar modelos como Llama, Mistral y Qwen, que han sido ajustados en otras plataformas, ofreciendo así una experiencia sin servidor y una API unificada.
La capacidad de entender la confianza de un modelo en sus predicciones es fundamental para la creación de aplicaciones de inteligencia artificial que sean confiables. Esto es particularmente relevante al trabajar con modelos personalizados que responden a consultas específicas de distintos dominios. Con el nuevo soporte para probabilidades logarítmicas, los usuarios pueden ahora acceder a información detallada sobre la certidumbre del modelo en cada predicción a nivel de token, lo que mejora la visibilidad sobre el comportamiento del modelo y permite una evaluación y un filtrado más efectivos de los resultados.
Las probabilidades logarítmicas facilitan a los desarrolladores medir la confianza del modelo respecto a cada token generado. Valores más cercanos a cero indican una mayor confianza; por ejemplo, un valor de -0.1 corresponde a aproximadamente un 90% de certeza, en contraste con un -3.0 que se traduce en alrededor del 5% de confianza. Esta nueva capacidad ofrece a los usuarios la posibilidad de examinar la certeza en diferentes partes de una respuesta, detectar errores potenciales y optimizar costos en sistemas de generación aumentada por recuperación (RAG).
Para sacar provecho de estas probabilidades logarítmicas en la Importación de Modelos Personalizados, los usuarios deben contar con una cuenta activa de AWS que incluya acceso a Amazon Bedrock, además de los permisos necesarios para invocar modelos mediante la API correspondiente. Este avance es un paso hacia una mayor transparencia en el proceso de toma de decisiones dentro de los modelos y permite a los desarrolladores crear aplicaciones que se adapten a diferentes niveles de certeza, algo vital en ámbitos críticos como la salud y las finanzas.
Los usos de esta funcionalidad son múltiples: desde la detección de alucinaciones y respuestas de baja confianza hasta la optimización de sistemas RAG y la evaluación del ajuste de modelos. A través de la introducción de métricas cuantificables sobre la confianza del modelo, Amazon Bedrock refuerza su compromiso de ofrecer herramientas que promuevan la innovación segura y escalable en el campo de la inteligencia artificial.
