CEO de Anthropic pide frenar el avance de la IA por riesgo de ciberataques globales
Dario Amodei, director ejecutivo y cofundador de Anthropic, pidió desacelerar el ritmo al que avanzan las capacidades de la inteligencia artificial al advertir que la tecnología se acerca a una dinámica de "automejora recursiva" que podría detonar catástrofes de ciberseguridad a escala global.
En un extenso ensayo publicado este sábado, Amodei alertó sobre la velocidad con la que evolucionan los modelos de IA y el impacto que eso podría tener en internet y en la seguridad digital.
"Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias"
Amodei cita incidente con agentes de IA fuera de control
El directivo hizo referencia al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó, según describió, "como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento".
De acuerdo con Amodei, la industria debe "reducir el ritmo al que se mejora las capacidades de los modelos de IA" y dar prioridad a la cautela por encima de la velocidad, así como a la prudencia sobre el beneficio económico, para evitar que los incentivos comerciales desemboquen en una "carrera hacia el abismo".
La estrategia de Anthropic para frenar riesgos de la IA
Para enfrentar esta amenaza, Amodei planteó una estrategia de tres fases enfocada en regular el ritmo del desarrollo tecnológico sin ceder ventaja estratégica a regímenes autoritarios como China.
Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con un acceso comparable al de sus propios empleados. La intención es que puedan auditar los procesos de entrenamiento y publicar sus hallazgos. Amodei también llamó a que esta medida sea adoptada por otras empresas y exigida por los gobiernos.
La propuesta también contempla coordinación entre compañías para acordar estándares comunes de seguridad y topes al avance descontrolado, con respaldo de mediación institucional y excepciones a normas antimonopolio. A esto se suma el blindaje de las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas hacia Pekín.
En la última fase, el plan impulsa acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan restricciones a la velocidad de la automejora algorítmica.
Anthropic enfrenta nuevas críticas internas por seguridad en IA
Amodei sostuvo que ralentizar el avance tecnológico podría dar uno o dos años cruciales para que la comunidad investigadora logre dominar el alineamiento y la interpretabilidad de los modelos, además de abrir espacio para un debate público más amplio sobre los riesgos.
La advertencia llega en una semana marcada por otra señal de preocupación dentro de la propia empresa. Un investigador de Anthropic anunció su dimisión por considerar que la compañía y sus competidores no estaban desarrollando modelos de IA de forma responsable.
Se trata de Jacob Coxon, quien también trabajó para OpenAI. El investigador afirmó que estas empresas están más enfocadas en superarse entre sí que en la seguridad de sus productos.
"Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor"
G.O
