La propia Tabla 1 de RSIAgent acredita la mayor parte de su ganancia en benchmarks al arnés actor-verificador, antes de que corra un solo paso de exploración autónoma. Emparejar a GLM-5.3 como actor con Kimi-K3 como verificador ya suma alrededor del doble de puntos parciales en OSWorld, y más de diez veces más en Agents’ Last Exam (ALE), que los que añade después la exploración. En ALE, ese puntaje sin explorar ya supera la cifra que el paper cita para GPT-6 Astra; en OSWorld se queda corto hasta que la exploración cierra la distancia.
El arnés suma la mayor parte del puntaje antes de que corra la exploración
RSIAgent no entrena nada: tres roles de agente —uno de currículo, un actor y un verificador— exploran un entorno de software nuevo y después congelan lo aprendido en una memoria reutilizable, sin tocar los pesos del modelo. El arnés de referencia del paper empareja a GLM-5.3 como actor con Kimi-K3 como verificador y agente de currículo, y la Tabla 1 aísla lo que aporta cada pieza. Pasar de un Kimi-K3 solo a ese arnés GLM-5.3+Kimi-K3, con la exploración y la memoria apagadas, suma 13,67 puntos en la métrica parcial de OSWorld, 12,15 en la métrica parcial de ALE y 8,95 en la métrica binaria de ALE. Encender después la exploración y la memoria suma otros 7,01 puntos parciales en OSWorld, 1,07 en ALE parcial y 1,50 en ALE binario: ganancias menores que las que ya había puesto el arnés solo, y en ALE binario cerca de una sexta parte.
En ALE, el arnés solo ya supera a GPT-6 Astra
El puntaje parcial de ALE sin exploración, 83,75, supera los 82,26 que el paper cita para GPT-6 Astra, así que la ventaja del par de modelos abiertos en ALE existe en su mayoría antes de que corra cualquier exploración. OSWorld es distinto: el arnés solo anota 71,97, todavía por debajo de los 72,60 que se citan para GPT-6 Astra, y sólo el pipeline completo, con 78,98, cruza esa línea. La exploración es opcional para el resultado de ALE y necesaria para el de OSWorld.
La comparación misma tiene un límite que el propio paper declara: cada puntaje rival, incluido el de GPT-6 Astra, viene del leaderboard o el informe técnico de cada sistema bajo lo que el paper llama un protocolo de evaluación no equiparado, no de una repetición hecha por los autores de RSIAgent. Y en la métrica binaria de ALE, más estricta —sólo da crédito a una tarea resuelta por completo—, el 50,75 de RSIAgent sigue detrás del 52,24 de GPT-6 Astra; el propio paper dice que su ventaja en puntaje parcial “no se extiende a cada métrica reportada”.
La mitad de las tareas del benchmark conservó su puntaje anterior, y parte del resto se corrigió a mano
El puntaje destacado de ALE, 84,82, descansa sobre una reevaluación más angosta de lo que parece: sólo 19 de las 67 tareas de ALE recibieron un puntaje nuevo tras la exploración, y las otras 48 simplemente arrastraron su línea base previa a RSI dentro del mismo promedio. En OSWorld se reevaluó una proporción mayor: 41 de sus 82 tareas, la mitad, recibieron un puntaje nuevo tras la exploración. De esas 19 puntuaciones nuevas de ALE, el paper describe algunas como notas corregidas a mano, otras como calificadas mediante una «transferencia de etiqueta pública» —un término que no vuelve a aparecer en ninguna otra parte de las 49 páginas del paper y que nunca se define— y una como una variante que se saltó por completo la etapa de exploración amplia. Por separado, el paper revela que la línea base y el puntaje con RSI de una tarea se corrigieron los dos después de los hechos, sin decir si otras tareas de cualquiera de los dos benchmarks pasaron por una corrección parecida.
Una prueba de cuatro tareas muestra que la exploración sigue teniendo efecto
Una ablación sobre cuatro tareas muestra que el mecanismo de exploración tiene un efecto medible por sí solo: la exploración completa de dos etapas anota 74,54 % en promedio, por delante del 65,52 % de una versión que sólo explora ancho y el 56,50 % de una que sólo explora en profundidad; la exploración en profundidad sola puede anotar por debajo de la línea base sin exploración en dos de las cuatro tareas. Eso deja el reclamo central del paper —que los modelos abiertos pueden superar a los modelos cerrados de frontera mediante automejora recursiva— apoyado sobre todo en el arnés que corre antes de que empiece la exploración: en ALE, el par de modelos abiertos cruza la marca de GPT-6 Astra en su mayoría antes de que arranque la automejora. El código y una página del proyecto son públicos bajo licencia Apache-2.0, y todavía ningún laboratorio independiente ni benchmark externo revisó las cifras.
Lecturas relacionadas
- RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments — el paper, con el desglose de la Tabla 1 entre arnés y exploración y los apéndices que detallan la cobertura de tareas y las correcciones de puntaje.
- AetherLabsAI/RSIAgent — el código publicado, Apache-2.0, con commits hasta el 2026-09-15.
- Página del proyecto RSIAgent — el sitio que acompaña al paper.