Los modelos de lenguaje de gran tamaño, considerados esenciales en el ámbito de la inteligencia artificial generativa, presentan serias limitaciones en la capacidad de diferenciar entre las creencias de las personas y la verdad objetiva. Esta afirmación se basa en una investigación liderada por James Zou de la Universidad de Stanford, cuyos hallazgos han sido publicados en la revista Nature Machine Intelligence.
Con la creciente adopción de estas herramientas en áreas críticas como la medicina, el derecho y el periodismo, la incapacidad de estos modelos para distinguir entre creencias y hechos verídicos podría dar lugar a diagnósticos erróneos, juicios sesgados y la propagación de desinformación.
El estudio analizó un total de 24 modelos de lenguaje, incluidos algunos de los más conocidos como GPT-4o, Claude-3.7 y Llama-3.3, utilizando un nuevo estándar de referencia denominado KaBLE. Esta evaluación consistió en 13,000 preguntas organizadas en tareas diseñadas para medir la habilidad de los sistemas al abordar cuestiones sobre creencias y conocimiento. Las pruebas incluyeron desde la verificación de afirmaciones hasta la identificación de creencias y conocimiento.
Los resultados obtenidos revelaron que los modelos enfrentan desafíos significativos en esta área. En particular, todos los modelos fallaron en detectar falsas creencias expresadas en primera persona, experimentando caídas drásticas en precisión. Por ejemplo, el rendimiento de GPT-4o descendió del 98,2 % al 64,4 %, mientras que DeepSeek R1 cayó de más del 90 % a un alarmante 14,4 %. Aunque los modelos pueden verificar afirmaciones verdaderas con alta precisión, su desempeño disminuye al evaluar creencias o declaraciones que carecen de indicadores claros de verdad. Según los investigadores, muchos de estos modelos no logran comprender a fondo la relación entre conocimiento y verdad.
Expertos del ámbito académico, como Pablo Haya Coll de la Universidad Autónoma de Madrid, advierten que estas limitaciones son especialmente preocupantes en contextos donde es vital distinguir entre convicción subjetiva y verdad objetiva. Esta deficiencia puede desembocar en decisiones erróneas en áreas sensibles como el derecho y la salud. Haya también menciona que estos modelos tienden a «alucinar», lo que significa que a menudo priorizan respuestas que parecen seguras en lugar de evaluar honestamente la verdad.
Josep Curto, director del Máster en Inteligencia de Negocios en la Universitat Oberta de Catalunya, subraya la importancia del estudio al iluminar las limitaciones epistemológicas actuales de estos modelos. Por su parte, Carlos Carrasco-Farré, profesor en la Toulouse Business School, advierte que, aunque la inteligencia artificial tiene la capacidad de corregir datos erróneos, puede fallar en reconocer las creencias de los usuarios, lo que representa un desafío considerable en contextos delicados.
En conclusión, es urgente que se reevalúen y aborden estas limitaciones antes de que se implementen ampliamente los modelos de lenguaje en ámbitos que exigen una clara distinción entre creencias y hechos. A pesar de que estos modelos son precisos al identificar datos verdaderos, su comprensión de la naturaleza del conocimiento humano sigue siendo deficiente.
