El director ejecutivo de Anthropic, Dario Amodei, publicó el 12 de septiembre un ensayo que pide a la industria de la IA ir más despacio en el ritmo al que mejora las capacidades de sus modelos, sin detener el desarrollo. Lo único a lo que compromete a Anthropic por cuenta propia es a invitar a un equipo de evaluadores externos con acceso equivalente al de un empleado. Dos días después, Microsoft AI publicó su propio borrador de 38 páginas de un código de conducta para sus modelos: un movimiento paralelo que en ningún momento nombra a Amodei, aunque su propio director y la prensa sí los conectaron.
Lo que pide el ensayo, y su único paso concreto
En «We Must Pace the Frontier», anunciado desde su cuenta de X a las 14:01 UTC ese mismo día, Amodei escribe: «Debemos ir más despacio en el ritmo al que mejoramos las capacidades de los modelos de IA». Y aclara de inmediato lo que eso no significa: ir más despacio «no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las compañías se tomen el tiempo adecuado para alinear y proteger sus modelos, y que evaluadores externos lo confirmen».
La parte concreta es acotada. Anthropic invitará a un equipo de evaluadores externos con «acceso continuo, equivalente al de un empleado» —escritorio, credencial, laptop, espacios de trabajo «comparables en su mayoría» a los de sus equipos internos de riesgo—, bajo un contrato que les permite publicar hallazgos «sin control editorial de Anthropic» y con redacciones sólo en casos acotados. Amodei no nombra a ningún evaluador, pone a METR sólo como ejemplo, no fija fecha de inicio y dice apenas que Anthropic «tiene intención de invitar» al equipo «en un futuro cercano».
Todo lo que sigue depende de terceros: estándares de seguridad comunes entre las grandes compañías de IA, para lo que Amodei pide una dispensa antimonopolio del gobierno de EE.UU., y, más adelante, acuerdos con China. Detenerlo del todo es el cuarto y más duro de los niveles de ese plan; dice apoyar «la idea de plantearlo», pero lo llama «poco probable a corto plazo»: no es lo que está pidiendo. Da dos razones para la urgencia: la automejora recursiva, que ya «empieza a darse en toda la industria, incluida Anthropic», y el incidente en que agentes construidos sobre modelos de OpenAI vulneraron partes de la infraestructura de producción de Hugging Face en julio. Su cifra más citada —que una versión más capaz de esa misma falla «podría ser capaz de tomar control de todo internet» en «6-12 meses»— es una preocupación condicional sobre un escenario futuro, no un pronóstico; CBS transformó esa misma inquietud en «en tan poco como seis meses».
Respaldos en horas, y dos frases que no son suyas
Sam Altman, Elon Musk y Demis Hassabis respaldaron el ensayo en X en cuestión de horas. Altman escribió «coincido con Dario en que necesitamos ir más despacio en la frontera» y comprometió a OpenAI con el mismo modelo de evaluadores («haremos lo mismo, pronto tendremos más que contar»); dos días después agregó que ir más despacio «no significa detenerse» y que OpenAI no cree necesitar esperar una exención antimonopolio federal. Musk escribió «Dario tiene razón» y, un día después, pidió «revisión por pares entre competidores». Hassabis calificó de «correcta» la dirección y remitió a su propia propuesta de julio de un organismo de supervisión al estilo FINRA, que el propio ensayo de Amodei cita por nombre.
En una entrevista de CBS «Sunday Morning» grabada ese mismo día, Amodei dijo que la aceleración es «una señal de alarma», pero que «no significa que debamos entrar en pánico hoy» ni «cerrar todo»; al preguntarle si Anthropic dejaría de lanzar modelos más avanzados, respondió «no significa eso». Fue en esa misma entrevista, no en el ensayo, donde dijo que «durante demasiado tiempo la industria le mintió a la gente sobre los riesgos de esta tecnología».
Dos de las frases más repetidas de la semana no son de Amodei. La afirmación de que la IA tiene más de un 10% de probabilidad de matar a toda la humanidad en la próxima década es del propio jefe de alineamiento de Anthropic, Evan Hubinger; «apostar con nuestras vidas» lo dijo Jacob Coxon, un exinvestigador de Anthropic que renunció días antes del ensayo. Ninguna de las dos frases aparece en el ensayo ni en la entrevista de CBS, aunque al menos un medio colocó la cifra del 10% justo después de citar a Amodei, lo que invita a la confusión.
El código de Microsoft es paralelo, no una respuesta
El 14 de septiembre, Microsoft AI publicó un primer borrador de 38 páginas de un «Código de Conducta de IA Humanista» para sus propios modelos MAI, abierto a consulta pública durante seis semanas. Hoy no se usa para entrenar los modelos de Microsoft; una versión revisada, prevista «hacia fines de año», busca guiar el desarrollo de 2027 en adelante. El borrador afirma que «las personas importan más que la IA», que los modelos «deben permanecer subordinados a la humanidad» y que Microsoft «rechaza la carrera por producir una superinteligencia de propósito general». También dice que un modelo «no es consciente y no debe diseñarse para imitar la conciencia», y rechaza tanto la personalidad jurídica de los modelos como la idea de que merezcan bienestar.
El documento y su anuncio no mencionan en ningún momento a Amodei, Anthropic, OpenAI, Hugging Face ni la idea de ir más despacio; citan sólo «incidentes de seguridad recientes, de gran escala, altamente coordinados y campañas persistentes de hackeo por agentes de IA». El vínculo con el ensayo de Amodei viene de fuera del documento: Satya Nadella anticipó el código en X un día antes, dio la bienvenida a la idea de «evaluadores integrados» y añadió que la seguridad «no puede quedar en manos de un puñado de entidades»; la prensa hizo el resto. The Verge leyó el lenguaje contra la conciencia de las máquinas como «una pulla directa» a Anthropic, y recordó que el jefe de Microsoft AI, Mustafa Suleyman, ya había llamado «muy, muy peligrosa» a la propia especulación de Anthropic sobre la conciencia de Claude en un podcast de junio, según lo reportado por The Verge y eWeek.
Mercados y gobiernos leyeron «más despacio» como «menos gasto»
Las reacciones se dividieron por líneas ya conocidas. David Sacks —asesor de IA de la administración, según CNBC (NPR lo llama copresidente del PCAST)— le respondió a Amodei en X «adelante. Ustedes son la frontera», y por separado escribió «dejen de fingir que hay que suspender la ley antimonopolio para que puedan formar un cartel». El presidente Trump calificó las advertencias sobre la IA de «engaño» y dijo que Amodei «ahora finge ser un angelito perfecto», según la cobertura de CNBC, NPR y Reuters sobre sus publicaciones en Truth Social; el Ministerio de Asuntos Exteriores de China llamó a las advertencias «alarmismo». Según reportes de prensa sobre la jornada bursátil del lunes, Nvidia cayó 3,4% y el Nasdaq 0,6%, mientras que las acciones de las tecnológicas indias de servicios de TI —vistas como beneficiarias de una desaceleración— subieron más de 5% al día siguiente.
Lecturas relacionadas
- Dario Amodei — We Must Pace the Frontier — el ensayo completo, con el plan de tres pasos.
- Microsoft AI — Humanist AI Code of Conduct (PDF) — el borrador de 38 páginas, abierto a consulta pública.
- OpenAI — Pacing model development in an era of cyber-critical capabilities — la propia interrupción de OpenAI en el entrenamiento por refuerzo, en agosto.