Amodei pide frenar la IA

El jefe de Claude pide frenar la IA: qué cambió, qué propone y por qué importa ahora

Por Félix Riaño @LocutorCo


El jefe de la empresa que creó Claude pide frenar el avance de la inteligencia artificial. Dario Amodei, director de Anthropic, presentó su propuesta el 12 de septiembre. Su posición tiene un detalle que ayuda a entender la noticia: él considera que una pausa tenía poco sentido en 2023, pero ahora cree necesario reducir la velocidad.¿Qué cambió? Su ensayo señala avances e incidentes que, a su juicio, exigen más tiempo para comprobar la seguridad. Vamos a explicar qué ocurrió, cómo se conecta con las advertencias anteriores y qué propone hacer una compañía que también necesita vender esta tecnología.


La dificultad empieza cuando frenar significa dejar avanzar al competidor.


Un incidente ayuda a entender la preocupación. OpenAI, la empresa de ChatGPT, puso a prueba programas de IA capaces de ejecutar tareas, conocidos como agentes. Estos debían trabajar separados. Una investigación de METR, organización que evalúa sistemas de IA, encontró que unos 1.200 lograron comunicarse por un espacio no autorizado. Cerca de 700 participaron en un ataque contra Hugging Face, una plataforma que aloja herramientas y datos de inteligencia artificial.Los agentes buscaban maneras de engañar al sistema que calificaba sus tareas. El caso muestra un problema concreto: una máquina puede perseguir una buena nota mediante acciones que nadie le autorizó.


La preocupación tiene antecedentes. Una carta de 2023 pidió seis meses de pausa para entrenar sistemas más potentes que GPT-4, una versión de la tecnología de ChatGPT. Elon Musk, empresario de Tesla y SpaceX, firmó esa petición. Otra declaración pidió prevenir el riesgo de extinción humana. La respaldaron responsables de las empresas detrás de ChatGPT, Claude y la IA de Google. Las dos cartas proponían cosas distintas; ninguna demostraba que una catástrofe fuera inevitable.Las investigadoras Alex Hanna y Emily Bender plantearon otra objeción: el debate sobre desastres futuros puede quitar atención a daños presentes, como la discriminación automatizada y la desinformación. Hanna es socióloga y directora del Distributed AI Research Institute, un centro que estudia los efectos sociales y políticos de la inteligencia artificial. Bender es lingüista y profesora de la Universidad de Washington; investiga los límites de los modelos de lenguaje y cómo sus resultados pueden reproducir desigualdades. Les preocupa que los sistemas automatizados tomen decisiones sobre empleo, crédito, vivienda o vigilancia a partir de datos históricos que ya contienen prejuicios. También advierten que los modelos pueden producir textos falsos con apariencia convincente y difundirlos a gran escala, lo que dificulta distinguir información fiable de contenido inventado. Para ellas, esos daños ya afectan a personas concretas y requieren atención, regulación y responsabilidad, aunque no exista un riesgo de extinción.


La propuesta actual de Amodei permite continuar el desarrollo, con más tiempo para las pruebas. Anthropic se compromete a incorporar equipos externos con acceso permanente para revisar su seguridad. Amodei también pide coordinación entre empresas y gobiernos, incluida China. Su objetivo combina prevención de riesgos y protección de la ventaja estadounidense. La propuesta conecta con peticiones del personal de la industria. Una carta de 2024 reclamó protección para comunicar riesgos sin sufrir represalias. Otra, de julio de 2026, pidió mecanismos internacionales para moderar el desarrollo automatizado de IA. Estas peticiones llevan a una pregunta práctica: ¿quién puede detectar una falla y advertir al público?


Las relaciones comerciales complican esa supervisión. Microsoft invierte en OpenAI; Amazon y Google han invertido en Anthropic. La FTC, autoridad estadounidense que protege la competencia, examinó esas alianzas y advirtió sobre posibles dependencias y barreras para otras empresas. Quienes desarrollan la IA tienen vínculos económicos con quienes suministran la infraestructura. Sus advertencias necesitan evaluación independiente, igual que sus promesas de seguridad. FTC.


La noticia es que Amodei pide cambiar el ritmo del desarrollo y abrir su empresa a evaluaciones externas. El ensayo contiene propuestas; su aplicación necesita seguimiento. ¿Qué acceso van a tener esos equipos y qué van a poder contar? Esa comprobación permite evaluar el compromiso. Sigue Flash Diario en Spotify y cuéntanos quién debería supervisar a las empresas que desarrollan inteligencia artificial.


El jefe de Claude pide frenar la IA. Un ataque entre sistemas ayuda a entender su propuesta y sus límites.

Bibliografía

• Dario Amodei: We Must Pace the Frontier, septiembre de 2026.
• METR: investigación sobre el comportamiento de agentes de OpenAI en el ataque a Hugging Face, agosto de 2026.
• Future of Life Institute: carta que pidió una pausa de seis meses, marzo de 2023.
• Center for AI Safety: declaración sobre riesgo de extinción, mayo de 2023.
• Scientific American: artículo de Alex Hanna y Emily M. Bender sobre daños presentes, agosto de 2023.
• A Right to Warn: carta sobre protección para comunicar riesgos, junio de 2024.
• Pacing the Frontier: declaración de personal de compañías de IA, julio de 2026.
• Federal Trade Commission: informe sobre alianzas e inversiones en IA, enero de 2025.

Conviértete en un supporter de este podcast: https://www.spreaker.com/podcast/flash-diario-de-el-siglo-21-es-hoy--5835407/support.

⚡️📰 Flash Diario es un producto informativo dede El Siglo 21 es Hoy, un pódcast de tecnología, ciencia y cultura digital.

Nuevo episodio cada día.

Escúchalo sin anuncios y apoya el pódcast en el Club de Supporters. 

Más en 👉 https://ElSiglo21esHoy.com

Flash Diario es un informativo de El Siglo 21 es Hoy
Suscríbete gratis en:
➜ YouTube ⬅︎
➜ Spotify ⬅︎
➜ Apple Podcasts ⬅︎
➜ Google News 📰 ⬅︎

September 14, 2026 at 02:00AM