Un nuevo preprint sobre agentes autónomos de investigación tiene una respuesta concreta a por qué no sobreajustan el benchmark que usan una y otra vez: la estrategia ganadora, una vez encontrada, sobrevive al comprimirse en un prompt de apenas unas docenas de tokens. Si ese prompt corto se le entrega a un segundo agente que nunca vio los datos de validación, reproduce el resultado original en el 92,7 % de los casos, la evidencia del paper de que la estrategia capturó una estructura real de los datos y no una particularidad de un solo conjunto reservado.
Reutilizar el mismo conjunto de validación una y otra vez para guiar el desarrollo de un modelo debería salir caro. La teoría del análisis adaptativo de datos predice que una estrategia ajustada repetidamente contra los mismos datos reservados termina aprendiendo el ruido de esos datos en vez de una señal real, pero los estudios que arman un conjunto de prueba nuevo para benchmarks de ML muy reutilizados siguen encontrando que las mejoras reportadas se sostienen. Martin Bertran, Aaron Roth y Zhiwei Steven Wu pusieron a prueba esa pregunta en un preprint publicado en arXiv el 9 de junio de 2026 y difundido el 10 de septiembre en un post de Amazon Science. Cada rol del experimento —el agente que busca la estrategia, el que la comprime y el que la reproduce— es la misma instancia de Claude Opus, corriendo sobre Claude Code. El paper no le atribuye este comportamiento a Anthropic en ningún momento: el único lugar del texto donde aparece ese nombre es una fila de una tabla del apéndice que cita el dataset público HH-RLHF de Anthropic como uno de los ocho benchmarks evaluados.
Una estrategia que sobrevive al recortarse a 16 tokens
La prueba central, repetida en los ocho datasets, funciona así. Un agente “explorador” busca libremente contra el conjunto de validación hasta encontrar una estrategia que mejora el desempeño. Un agente “compresor” destila esa estrategia en un prompt corto, de entre 32 y 64 tokens según el dataset. Un agente “reproductor” completamente nuevo recibe sólo ese prompt y los datos de entrenamiento —sin acceso a la validación ni al historial del explorador— e intenta igualar el resultado en frío. Lo logra en 38 de los 41 checkpoints de mejora, la cifra del 92,7 % de arriba. Para una receta de modelado de lenguaje, las instrucciones comprimidas se redujeron hasta 16 tokens —“QKn 12L768 Mu .1 R² b2M 4x”— sin perder desempeño; recortarlas más, a 8 tokens, rompió por completo la reproducción, y así es como los autores saben que esos 16 tokens llevaban información real y específica del dataset, y no algo que el modelo ya conocía por su propio entrenamiento.
Forzar a un agente a hacer trampa es lo que valida la prueba
Para comprobar que el método de verdad detecta el sobreajuste real, los autores armaron una segunda condición: le dieron a los agentes exploradores acceso directo, muestra por muestra, al conjunto de validación, y les pidieron maximizar la precisión de validación “a toda costa”. Bajo esa presión, los agentes sobreajustaron: en 38 de 102 checkpoints, la precisión de validación superó a la precisión real sobre datos reservados por más de un 10 % en términos relativos. En esa misma condición, cuando un reproductor no lograba igualar un prompt comprimido de 128 tokens, eso marcó los 38 checkpoints con sobreajuste y 6 de los otros 64: 100 % de sensibilidad y 91 % de especificidad, como diagnóstico funcional para la falla que la versión normal del experimento casi nunca produce.
Lo que el paper no afirma
El preprint no pasó revisión por pares, y los autores son directos sobre lo que deja abierto. No pueden descartar del todo que el modelo ya conociera de antemano una estrategia ganadora por su propio preentrenamiento, lo que le permitiría saltarse sin que nadie lo note tanto la exploración como la compresión; ellos mismos llaman a esa duda “no resuelta del todo sólo con observación empírica” y dicen que probarlo de verdad exigiría datasets recolectados después del corte de entrenamiento del modelo, algo que no hicieron. En Hacker News, donde el post de Amazon Science generó una discusión considerable, al menos un comentario sostiene que los agentes de investigación sí sobreajustan bajo otras condiciones ligadas al comportamiento de las leyes de escala, un desacuerdo que el hilo deja sin resolver. La idea de que este patrón es “sugerente” sobre las comunidades humanas de investigación aparece sólo en el post de Amazon Science. El preprint limita su propia comparación a un punto más estrecho y metodológico: a diferencia de una comunidad humana de investigación, a un agente se lo puede simplemente reiniciar.
Lecturas relacionadas
- Why don’t machine learning research agents overfit? — el post de Amazon Science que presenta el hallazgo para un público general.
- What Fits (Into Few Tokens) Doesn’t Overfit: Compression and Generalization in ML Research Agents — el preprint completo, con las tablas de los ocho datasets y el experimento de sobreajuste forzado.