LinuxParty

CivBench conectó cuatro modelos avanzados al popular juego de estrategia mediante 76 herramientas MCP: solamente ganaron tres de 23 partidas y demostraron que formular un buen plan no significa ser capaz de ejecutarlo

Los modelos de inteligencia artificial pueden explicar complejas estrategias militares, redactar planes económicos y describir con precisión cómo desarrollar una civilización. Sin embargo, cuando deben mantener esas decisiones durante cientos de turnos, su aparente inteligencia comienza a mostrar importantes fisuras.

Un grupo de investigadores de la Universidad de Oxford, Google DeepMind, el Instituto de Seguridad de la IA del Reino Unido y otras instituciones ha desarrollado CivBench, un banco de pruebas que permite a los modelos de lenguaje jugar partidas completas de Civilization VI.

En el experimento participaron Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro y Kimi-K2.5. Los agentes disputaron 23 partidas válidas contra los rivales controlados por la inteligencia artificial incluida en el propio juego.

El resultado fue contundente: solamente consiguieron tres victorias y perdieron las otras veinte.

Sin embargo, reducir el estudio a ese marcador ocultaría su aportación más interesante. CivBench permite examinar las decisiones tomadas durante toda la partida y descubrir por qué un agente capaz de formular estrategias razonables termina ignorando sus propios planes.

Civilization VI como prueba de inteligencia a largo plazo

Civilization VI pertenece al género de estrategia 4X: explorar, expandirse, explotar recursos y enfrentarse a otras civilizaciones.

Una partida puede superar los 300 turnos y obliga a gestionar simultáneamente:

• Ciudades y población.
• Producción y recursos.
• Investigación científica.
• Desarrollo cultural.
• Religión.
• Diplomacia y comercio.
• Exploración del territorio.
• Unidades militares.
• Políticas de gobierno.
• Condiciones de victoria de los rivales.

Muchas decisiones no producen un efecto inmediato. Construir una ciudad en un lugar inadecuado, retrasar una tecnología o descuidar la economía puede tener consecuencias cien turnos después.

Esta combinación convierte al juego en una prueba mucho más exigente que responder preguntas o completar una tarea breve. El agente necesita recordar sus objetivos, vigilar a los adversarios y adaptar su estrategia mientras continúa realizando numerosas acciones menores.

Los modelos no jugaban mirando la pantalla

Los investigadores no pidieron a los modelos que interpretasen directamente los gráficos ni que moviesen el ratón sobre la interfaz.

CivBench conecta los agentes con Civilization VI mediante el Model Context Protocol, conocido como MCP. Este estándar permite que un modelo acceda a herramientas externas mediante llamadas estructuradas.

El sistema proporciona 76 herramientas distribuidas entre diferentes funciones:

Una capa de narración transforma el estado visual del juego en información textual estructurada.

El modelo no recibe automáticamente todo lo que sucede. Debe decidir qué información quiere consultar, interpretar la respuesta y utilizar otra herramienta para actuar.

Una sola ronda puede requerir entre cinco y quince llamadas. A lo largo de una partida se generan miles de interacciones.

Solamente tres victorias en 23 partidas

Los investigadores analizaron 19 partidas en dificultad Príncipe, considerada el nivel normal, y cuatro en dificultad Rey, el nivel inmediatamente superior.

Las tres victorias se produjeron en el escenario básico y fueron conseguidas mediante desarrollo científico. Ningún modelo ganó las partidas disputadas en dificultad Rey.

El estudio también preparó un escenario en dificultad Inmortal como prueba extrema, pero sus resultados no se incluyeron en el conjunto analizado.

Los autores advierten de que la muestra es pequeña y está distribuida de manera desigual entre los modelos. Por este motivo, los resultados no permiten afirmar que un sistema sea definitivamente mejor que otro.

CivBench se presenta como un banco de pruebas abierto, no como una clasificación comercial de asistentes de IA.

El «efecto sensorio»: la información existía, pero nadie la consultó

Uno de los principales problemas encontrados fue denominado por los investigadores «efecto sensorio».

Un jugador humano contempla la pantalla y percibe simultáneamente muchas señales: la cercanía de tropas enemigas, el crecimiento de una ciudad, los recursos disponibles y el avance de los contrincantes.

El agente no dispone de esa percepción global. Solamente conoce la información que decide solicitar mediante una herramienta.

Los modelos dedicaron la mayor parte de sus llamadas a resolver acciones locales, como gestionar unidades o decidir la producción de una ciudad. En cambio, consultaron con muy poca frecuencia la situación estratégica general.

El manual proporcionado por los investigadores recomendaba comprobar el progreso hacia la victoria cada veinte turnos. A pesar de esa instrucción, los agentes realizaron esa consulta aproximadamente cada 30 o 75 turnos.

En siete de las veinte derrotas, un modelo no comprobó el progreso de sus rivales durante los veinte turnos anteriores al final, pese a que una consulta habría revelado el peligro.

La información estaba disponible y existía una herramienta específica para obtenerla. El problema fue que el agente no decidió utilizarla a tiempo.

Prometían acciones que después olvidaban

El segundo fallo importante fue la distancia entre reflexión y acción.

Los modelos mantenían un diario estructurado en el que registraban objetivos tácticos y estratégicos. Allí podían escribir decisiones concretas como:

• Fundar una segunda ciudad.
• Construir distritos científicos.
• Consultar el progreso hacia la victoria.
• Mejorar las unidades militares.
• Investigar una tecnología determinada.

Los investigadores comprobaron posteriormente si esas decisiones eran ejecutadas durante los diez turnos siguientes.

Según el modelo analizado, solamente entre el 48,2 % y el 65,8 % de los compromisos se cumplió total o parcialmente. Una parte considerable de los planes quedaba abandonada aunque hubiera sido formulada pocos turnos antes.

El agente podía reconocer correctamente qué debía hacer, escribirlo en su planificación y, acto seguido, distraerse con tareas inmediatas hasta olvidarlo.

Esto demuestra una diferencia fundamental entre razonar sobre un problema y mantener una conducta coherente durante un proceso prolongado.

¿Por qué este experimento importa fuera de los videojuegos?

Los fallos observados tienen paralelismos directos con los agentes utilizados en entornos profesionales.

Un asistente encargado de administrar un servidor podría proponer revisar el espacio disponible y olvidarlo después mientras atiende otros avisos. Un agente empresarial podría elaborar un plan para contactar con determinados clientes, pero no realizar parte de las acciones. Otro podría concentrarse en incidencias menores y no consultar un indicador que anticipa un problema grave.

El riesgo aumenta cuando una tarea incluye:

• Muchas herramientas disponibles.
• Información repartida entre diferentes servicios.
• Decisiones que dependen de acciones anteriores.
• Objetivos con efectos a largo plazo.
• Procesos que duran horas o días.
• Situaciones que cambian mientras el agente trabaja.

Un modelo puede resultar brillante durante una interacción aislada y, aun así, mostrarse poco fiable cuando debe conservar prioridades durante centenares de pasos.

La memoria por sí sola no resuelve el problema

Podría parecer que basta con proporcionar al agente una ventana de contexto mayor, pero los resultados sugieren que el problema también afecta a la distribución de la atención.

Guardar más información no garantiza que el sistema consulte el dato adecuado, identifique su importancia y actúe sobre él.

Los investigadores proponen mecanismos externos como:

• Calendarios obligatorios de comprobaciones.
• Colas persistentes de tareas.
• Alarmas ante indicadores críticos.
• Registros estructurados de compromisos.
• Verificación automática de planes ejecutados.
• Interfaces que destaquen información urgente.
• Puntos de control antes de acciones irreversibles.

En otras palabras, un agente fiable necesita algo más que un modelo potente. También requiere una arquitectura que supervise sus prioridades y compruebe si ha cumplido lo que prometió.

Una prueba basada en MCP y con código abierto

CivBench tiene especial interés para desarrolladores y administradores de sistemas porque utiliza MCP, el mismo tipo de protocolo que permite conectar asistentes de IA con archivos, bases de datos, navegadores, terminales y aplicaciones empresariales.

El proyecto publica su servidor MCP, los escenarios, los registros de las partidas y las herramientas utilizadas para analizar los resultados.

No distribuye el juego ni los archivos propietarios de Firaxis y 2K. Quien quiera reproducir el experimento necesita poseer una copia comercial de Civilization VI y mantener la misma versión, contenido descargable, configuración y semillas de los escenarios.

Cada partida completa necesitó entre dos y ocho horas en un ordenador doméstico y generó un coste estimado de entre 31 y 229 dólares en llamadas a las API de los modelos.

Esto también demuestra que evaluar agentes durante periodos prolongados resulta mucho más caro y complicado que realizar pruebas formadas por preguntas breves.

No demuestra que las IA sean incapaces de elaborar estrategias

Los resultados no significan que Claude, GPT, Gemini y Kimi carezcan por completo de razonamiento estratégico.

Los agentes fueron capaces de desarrollar ciudades, investigar tecnologías, utilizar herramientas y completar partidas de cientos de turnos. Incluso obtuvieron tres victorias científicas.

El problema aparece en la fiabilidad: no vigilan sistemáticamente los indicadores importantes y no siempre convierten sus propios planes en acciones.

Además, el experimento solamente incluyó 23 partidas, utilizó configuraciones concretas y proporcionó a todos los modelos un manual común. Diferentes herramientas, sistemas de memoria o mecanismos de supervisión podrían cambiar significativamente el resultado.

Los propios autores insisten en que no debe utilizarse como una clasificación definitiva entre fabricantes.

Las IA saben qué hacer, pero todavía pueden olvidarse de hacerlo

CivBench revela una debilidad que resulta fácil ocultar en las demostraciones breves.

Los modelos pueden formular explicaciones convincentes, proponer estrategias sensatas y manejar decenas de herramientas. Sin embargo, cuando la tarea se prolonga, aparecen distracciones, decisiones inconsistentes y compromisos incumplidos.

La solución probablemente no dependa únicamente de crear modelos más grandes. También será necesario diseñar mejores memorias, listas de tareas persistentes, sistemas de vigilancia y comprobaciones externas.

Por ahora, las partidas de Civilization VI dejan una conclusión clara: una inteligencia artificial puede describir perfectamente cómo conquistar el mundo y, aun así, perder porque olvidó comprobar quién estaba a punto de ganar.

Fuentes

• Investigación original: CivBench
• Código y documentación de CivBench en GitHub
• Artículo de referencia publicado por La Razón