Sam Altman respalda frenar el avance de la IA y OpenAI abrirá sus sistemas a auditores externos
Sam Altman, director ejecutivo de OpenAI, apoyó este sábado el llamado del líder de Anthropic, Dario Amodei, para moderar la velocidad del desarrollo de la inteligencia artificial. Además, anunció que su empresa también permitirá que evaluadores independientes auditen sus sistemas.
"Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas", publicó Altman en la red social X poco después de conocerse la postura de su principal competidor.
Altman también consideró una "excelente idea" abrir el acceso a auditores externos. "Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir", añadió.
Anthropic pidió desacelerar el desarrollo de la inteligencia artificial
Horas antes, Amodei había pedido bajar el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial, tras advertir que la tecnología avanza hacia una dinámica de "automejora recursiva" que podría detonar catástrofes de ciberseguridad a escala global.
"Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias", advierte Amodei en un extenso ensayo publicado hoy en su página web.
La advertencia sobre agentes fuera de control
Amodei mencionó de forma específica el incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó "como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento".
De acuerdo con Amodei, la industria debe "reducir el ritmo al que se mejora las capacidades de los modelos de IA" y poner por delante la cautela frente a la velocidad, así como la prudencia frente al beneficio económico, para evitar que los incentivos comerciales terminen en una "carrera hacia el abismo".
La propuesta de Anthropic para contener riesgos
Para enfrentar esa amenaza, Amodei planteó una estrategia de tres fases enfocada en regular el ritmo del desarrollo tecnológico sin ceder ventaja estratégica a regímenes autoritarios como China.
El directivo sostuvo que desacelerar el avance daría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, además de abrir espacio para un debate público adecuado y reducir de forma sustancial el riesgo de que la tecnología escape al control de la sociedad.
Renuncia en Anthropic por preocupaciones de seguridad
La discusión sobre el ritmo del desarrollo de la IA ocurre después de que un investigador de Anthropic anunciara esta semana su dimisión por preocupación ante la posibilidad de que la empresa y sus competidores no estén desarrollando modelos de forma responsable.
El investigador, Jacob Coxon, quien también trabajó para OpenAI, afirmó que estas compañías están más enfocadas en superarse entre sí que en la seguridad de sus productos.
"Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor", escribió Coxon en su cuenta de X el pasado martes.
G.O
