Los asistentes virtuales basados en inteligencia artificial (IA) se han convertido en herramientas cada vez más comunes en el día a día de las personas, utilizadas en aplicaciones móviles, servicios de atención al cliente y motores de búsqueda. Sin embargo, un reciente estudio realizado por investigadores de la Universidad Carnegie Mellon ha puesto de relieve una característica preocupante de estos sistemas: su sobreconfianza.
El análisis comparó la autoconfianza de humanos y de cuatro modelos de lenguaje de IA —ChatGPT, Bard/Gemini, Sonnet y Haiku— en diversas tareas, que incluyeron responder preguntas de cultura general, predecir resultados de partidos de la NFL y evaluar dibujos en un estilo similar al juego Pictionary. Tanto humanos como máquinas tendieron a sobrestimar su rendimiento; no obstante, solo los humanos ajustaron sus expectativas tras completar las tareas.
Por ejemplo, según Trent Cash, primer autor del estudio, si una persona anticipaba responder correctamente 18 preguntas y finalmente acertaba 15, ajustaba su estimación a 16. En contraste, los modelos de IA no solo mantuvieron su exceso de confianza, sino que, en algunos casos, se volvieron incluso más seguros de sí mismos tras fallar.
La investigación, que recopiló datos a lo largo de dos años con versiones actualizadas de los modelos, evidenció este fenómeno de forma consistente entre los diferentes sistemas de IA. Danny Oppenheimer, coautor del estudio, advirtió que la manera en que estos modelos expresan sus respuestas con seguridad puede llevar a los usuarios a asumir que la IA tiene razón. A diferencia de los humanos, que suelen proporcionar señales no verbales de duda, las máquinas no muestran indicios claros sobre su certeza o incertidumbre.
Si bien responder a preguntas triviales o predecir resultados de premios puede parecer irrelevante, este estudio aborda un tema más profundo: la metacognición de la IA, que se refiere a la capacidad de ser conscientes de los propios procesos mentales. Cuando se cuestionaron sobre temas más subjetivos o inciertos, como la identificación de dibujos o predicciones sobre ganadores, los modelos de IA presentaron un alto nivel de error acompañado de confianza inquebrantable. En una de las pruebas, el modelo Gemini acertó solamente una imagen de cada 20, pero estimó haber tenido éxito en más de 14 ocasiones.
Comparando esta situación con la de un amigo que asegura ser excelente en el billar, pero no logra encestar ni una bola, Cash subrayó la desconexión entre la confianza y la competencia real de estos modelos. Entre todos los sistemas evaluados, Sonnet resultó ser el menos confiado en exceso, mientras que ChatGPT-4 demostró un rendimiento más cercano al de los humanos en el juego de dibujos.
Los autores concluyen que, aunque los modelos de IA pueden mejorar con la incorporación de más datos, es esencial adoptar un enfoque escéptico hacia sus afirmaciones. Preguntar de manera explícita sobre su nivel de confianza podría ofrecer pistas valiosas, especialmente en situaciones donde los sistemas mismos reconocen su inseguridad. Oppenheimer advirtió que muchos chatbots no son conscientes de lo que realmente no saben, lo que plantea un desafío significativo.
A medida que estas tecnologías continúan integrándose en la vida cotidiana, reconocer sus limitaciones, como la falta de introspección y la incapacidad de aprender de sus errores, será fundamental para el desarrollo de sistemas más confiables y responsables. La reflexión sobre cómo los humanos aprenden y evalúan sus acciones podría ser clave para abordar estas cuestiones en el futuro.
