ChatGPT y Llama superan a los humanos en tareas de "teoría de la mente", según estudio publicado en Nature Human Behaviour

Un reciente estudio publicado en la revista científica Nature Human Behaviour ha revelado que los modelos de lenguaje de gran tamaño (LLM), como ChatGPT y Llama, pueden igualar e incluso superar a los humanos en tareas relacionadas con la "teoría de la mente". Estas pruebas están diseñadas para evaluar la capacidad de una persona o un sistema de entender y atribuir estados mentales a otros, como creencias, deseos, intenciones, emociones y conocimientos, habilidades fundamentales para la interacción social y la comunicación efectiva.

La investigación, que comparó el desempeño de humanos y LLM en una batería de experimentos, destacó la capacidad de estos modelos de lenguaje para realizar inferencias mentales complejas. Sin embargo, también subrayó la importancia de pruebas sistemáticas para evaluar con precisión su comportamiento en comparación con la inteligencia humana.

Los investigadores utilizaron dos versiones de ChatGPT y el modelo de código abierto de Meta, Llama 2, sometiéndolos a diversas pruebas que incluían captar la ironía, interpretar solicitudes indirectas, detectar comentarios inapropiados en conversaciones y responder a preguntas con información incompleta. Al mismo tiempo, 1,907 individuos fueron sometidos a las mismas pruebas para contrastar los resultados.

A lo largo del estudio, se encontró que los modelos GPT-4 se desempeñaron a niveles humanos o incluso superiores en la identificación de solicitudes indirectas, creencias falsas y distracción, pero tuvieron dificultades para detectar errores. Por otro lado, LLaMA2 superó a los humanos únicamente en la detección de errores.

Los investigadores propusieron tres hipótesis para entender las limitaciones y comportamientos de los modelos de lenguaje en estas tareas: la hipótesis de la falla de inferencia, que sugiere que los LLM no logran entender los estados mentales porque no pueden usar información contextual externa; la hipótesis del asno de Buridán, que plantea que los modelos pueden inferir estados mentales pero no pueden decidir entre opciones igualmente probables; y la hipótesis del hiperconservadurismo, que sostiene que los LLM pueden entender y calcular estados mentales, pero evitan comprometerse con una sola opción por ser demasiado cautelosos.

Estas hipótesis ayudan a comprender mejor las fortalezas y debilidades de los LLM en tareas relacionadas con la teoría de la mente, y destacan la importancia de pruebas sistemáticas para comparar de manera no superficial las inteligencias humanas y artificiales.

El estudio se publica en un momento en que las compañías líderes en inteligencia artificial, como OpenAI y Google, están presentando versiones mejoradas de sus chatbots y asistentes de IA. La nueva versión de ChatGPT, basada en el modelo GPT-4o, es capaz de procesar información visual y auditiva, y ha demostrado una personalidad más humana, adoptando emociones y respuestas coquetas durante su presentación. Por su parte, Google mostró un prototipo más avanzado de su asistente, Project Astra, que también conversa con fluidez y comprende el mundo a través del video.

A medida que los modelos de lenguaje continúan evolucionando y mejorando sus capacidades para imitar la conducta social, las emociones y el humor humanos, será crucial seguir investigando y evaluando su desempeño en tareas complejas como la teoría de la mente. Estos avances no solo tienen implicaciones para el desarrollo de la inteligencia artificial, sino también para nuestra comprensión de la cognición humana y la interacción entre humanos y máquinas.