La punta del iceberg: Coxon, Anthropic y el riesgo existencial de la IA

La renuncia del ingeniero Jacob Coxon a Anthropic en septiembre de 2026 no es un hecho aislado, sino la punta del iceberg de una tensión creciente entre el avance tecnológico de la inteligencia artificial y los límites éticos que la comunidad científica lleva años advirtiendo. Coxon, quien trabajó en el entrenamiento de modelos en OpenAI y Anthropic, denunció que ambas compañías están “jugando con nuestras vidas” al perseguir una superinteligencia capaz de automejorarse sin garantías suficientes de control. Su advertencia refleja un consenso interno; muchos investigadores creen sinceramente que la IA podría causar la extinción humana antes de que termine la década.

Desde una perspectiva tecnológica, el núcleo del problema es la trayectoria hacia sistemas cada vez más capaces de planificar, actuar de forma autónoma y automejorarse. Estos modelos de frontera ya muestran capacidades emergentes que pueden facilitar el descubrimiento de vulnerabilidades, el diseño de agentes complejos y la interacción con infraestructuras críticas. La comunidad de seguridad de la IA advierte que, a medida que estos sistemas se acerquen a niveles de superinteligencia, los mecanismos actuales de alineación y evaluación podrían volverse insuficientes para prevenir comportamientos engañosos, pérdida de control o uso malicioso a escala catastrófica.

Éticamente, la situación plantea un dilema profundo: ¿es moralmente aceptable desarrollar tecnologías cuyo peor escenario implica la desaparición de la especie humana, incluso si los beneficios económicos y estratégicos son enormes? Investigadores como Mrinank Sharma, exjefe de salvaguardas en Anthropic, han señalado que, en la práctica, “es muy difícil que nuestros valores gobiernen nuestras acciones” frente a las presiones competitivas y comerciales. La renuncia de Coxon es, en ese sentido, un acto de coherencia ética; abandonar un proyecto que considera intrínsecamente peligroso para la humanidad.

La respuesta regulatoria comienza a reflejar estas preocupaciones. En EE. UU., la propuesta de ley “Ban Artificial Superintelligence Act”, presentada por Bernie Sanders y Gregorio Casar, busca prohibir permanentemente la superinteligencia y pausar el desarrollo de IA de frontera hasta que exista un regulador federal con reglas claras, con penas de hasta 20 años de prisión para violaciones graves. En la Unión Europea, el AI Act ya otorga a la Comisión poderes para evaluar, restringir o retirar del mercado modelos que presenten riesgos sistémicos, incluyendo pérdida de control y amenazas CBRN. China, por su parte, ha avanzado en estándares nacionales, revisiones éticas obligatorias previas al desarrollo y mecanismos tipo “circuit breaker” para detener proyectos de alto riesgo.

Sin embargo, persiste una brecha entre el discurso de seguridad y la práctica industrial. Anthropic, que se presentó como el laboratorio más consciente de la seguridad, eliminó en 2026 el compromiso más estricto de su Responsible Scaling Policy: ya no promete detener el entrenamiento si no puede garantizar medidas de seguridad suficientes, y solo considera retrasos bajo condiciones competitivas específicas. OpenAI, por su parte, mantiene un discurso de seguridad y alineación, pero enfrenta críticas internas por decisiones que priorizan el lanzamiento de capacidades y la monetización. Esta dinámica alimenta la narrativa de “carrera” que denuncian Coxon y otros; si uno se detiene, teme que actores menos cuidadosos tomen la delantera.

Desde un punto de vista ético-tecnológico, la cuestión no es solo si es posible construir salvaguardas técnicas, sino si es legítimo continuar una trayectoria que, según voces internas, tiene una probabilidad no despreciable de catástrofe global. La comunidad de seguridad de la IA pide evaluaciones rigurosas de capacidades peligrosas, acuerdos de coordinación de ritmos entre laboratorios y, en algunos casos, pausas o moratorias hasta contar con consenso científico sobre alineación. La propuesta de Sanders-Casar y las facultades de la UE representan intentos de traducir esas demandas en marcos vinculantes, aunque su implementación real y su coordinación global siguen siendo inciertas.

La dimensión geopolítica añade otra capa de complejidad. EE. UU., la UE y China compiten por el liderazgo en IA de frontera, cada actor con su propia visión de gobernanza: prohibición y pausa (propuesta en EE. UU.), gestión de riesgos sistémicos con poder de veto (UE) y control estatal denso con estándares y revisiones éticas (China). Esta fragmentación dificulta la acción colectiva que muchos expertos consideran necesaria para manejar riesgos existenciales, y refuerza la sensación de que la humanidad está siendo usada como “conejillo de indias” en un experimento a escala civilizatoria.

En última instancia, el caso de Coxon y las advertencias de otros investigadores plantean una pregunta ineludible: ¿qué tipo de futuro tecnológico queremos construir? La tecnología de IA ofrece beneficios transformadores, pero también abre la posibilidad de daños irreversibles si se desarrolla sin límites éticos claros y garantías robustas de control. La respuesta no será solo técnica, sino profundamente moral y política; exige decidir, como sociedad global, hasta dónde estamos dispuestos a llegar en la búsqueda de capacidades cada vez mayores y qué líneas rojas no debemos cruzar, incluso si eso implica frenar la carrera por la superinteligencia.

Referencias

ABC7. (2026, 9 de septiembre). Anthropic researcher said he is resigning from the company over concerns the artificial intelligence firm and its competitors are not acting responsibly in AI development. https://abc7.com/post/anthropic-researcher-resigns-warning-ai-development-dangers-threat-human-life/19811731/

Asia Society, Center for China Analysis. (2026, 13 de agosto). Reporting back from WAIC 2026: How China’s AI ecosystem is adapting to compute constraints. https://centerforchinaanalysis.asiasociety.org/p/reporting-back-from-waic-2026-how

Asia Society, Center for China Analysis. (2026, 6 de julio). IBB Econ & Tech Insights — June 2026: A pragmatic roadmap for the bureaucratic complexities of the coming U.S.-China AI safety dialog. https://centerforchinaanalysis.asiasociety.org/p/ibb-econ-and-tech-insights

BBC. (2026, 12 de febrero). Anthropic AI safety researcher quits with ‘world in peril’ warning. https://www.bbc.com/news/articles/c62dlvdq3e3o

Bureau of AI. (2026, 1 de septiembre). EU AI Act enforcement powers for frontier AI begin 2026. https://bureauofai.org/blog/eu-enforcement-powers-for-frontier-ai-are-about-to-get-real

Business Insider. (2026, 9 de febrero). Read an exit letter by an Anthropic AI safety leader. https://www.businessinsider.com/read-exit-letter-by-an-anthropic-ai-safety-leader-2026-2

Business Insider. (2026, 9 de septiembre). An Anthropic researcher who once worked at OpenAI just quit. https://www.businessinsider.com/anthropic-researcher-quits-over-ai-safety-concerns-2026-9

CDT Europe. (2026, 27 de julio). CDT Europe’s AI Bulletin: July 2026. https://cdt.org/insights/cdt-europes-ai-bulletin-july-2026/

Cloud Security Alliance Labs. (2026, 16 de marzo). AI governance fragmentation: Multinational enterprise compliance. https://labs.cloudsecurityalliance.org/research/strategic-ai-governance-fragmentation-multinational-enterpri/

CNN. (2026, 9 de septiembre). ‘Gambling with our lives’: Another AI employee quits over safety concerns. https://www.cnn.com/2026/09/09/tech/ai-anthropic-safety

Concordia AI. (2026, 14 de julio). State of AI safety in China (2026). https://concordia-ai.com/research/state-of-ai-safety-in-china-2026/

EBA, EIOPA, ESMA. (2026, 31 de julio). ESA statement on ICT risks from frontier AI models (JC 2026 25). https://www.bankingnewsai.com/ai-regulation/documents/esas-jc-2026-25-frontier-ai-statement

Economic Times. (2026, 10 de febrero). Anthropic’s AI researcher Mrinank Sharma quits, says the ‘the world is in peril’. https://economictimes.indiatimes.com/tech/artificial-intelligence/anthropics-ai-researcher-mrinank-sharma-quits-says-the-the-world-is-in-peril/articleshow/128237913.cms

ExplainX. (2026, 4 de septiembre). Bernie Sanders’ Ban Artificial Superintelligence Act, explained. https://explainx.ai/blog/bernie-sanders-ban-artificial-superintelligence-act-2026

Forbes. (2026, 9 de febrero). Anthropic AI safety researcher warns of world ‘in peril’ in resignation. https://www.forbes.com/sites/conormurray/2026/02/09/anthropic-ai-safety-researcher-warns-of-world-in-peril-in-resignation/

Fortune. (2026, 9 de septiembre). Anthropic researcher resigns, warning that AI companies are “gambling with our lives”. https://fortune.com/2026/09/09/anthropic-researcher-resigns-warn-ai-companies-gambling-with-lives/

Future of Life Institute. (2026, julio). 2026 first-half AI Safety Index. Citado en: Yellow.com. (2026, 8 de julio). Anthropic Q3 profit projected to top $1B as IPO filing nears. https://yellow.com/news/anthropic-q3-2026-profit-1b-ipo-filing

GAE Edu. (2026, 8 de septiembre). China AI governance profile 2026: Regulation, policy & workforce. https://gaeedu.org/ai-governance-profiles/china

Global News. (2026, 12 de febrero). Anthropic AI safety researcher quits, says the ‘world is in peril’. https://globalnews.ca/news/11664538/anthropic-ai-safety-researcher-mrinank-sharma-quits-concerns/

Gizmodo. (2026, 9 de febrero). Anthropic safety researcher’s vague resignation isn’t reassuring. https://gizmodo.com/anthropic-ai-safety-researcher-mrinank-sharm-resigns-2000719865

IBTimes. (2026, 10 de septiembre). Lawmakers demand action after Anthropic researcher warns AI could cause extinction by 2030. https://www.ibtimes.com.au/ai-regulation-urged-experts-warn-human-extinction-1875326

IBTimes UK. (2026, 8 de septiembre). OpenAI, Google, Anthropic and xAI’s up-to-$200M Pentagon deals help shape military AI strategy. https://www.ibtimes.co.uk/ai-giants-pentagon-military-contracts-1818594

IBTimes UK. (2026, 9 de septiembre). Bernie Sanders pushes superintelligence ban as Jacob Coxon warns AI labs are ‘gambling with our lives’. https://www.ibtimes.co.uk/bernie-sanders-superintelligence-ban-ai-safety-1818810

Mathrubhumi. (2026, 10 de febrero). AI safety at crossroads? Anthropic leader resigns after dropping stark warning. https://english.mathrubhumi.com/technology/anthropic-ai-safety-lead-mrinkank-sharma-resigns-puy43d8r

MLQ.AI. (2026, 2 de marzo). Anthropic releases revised Responsible Scaling Policy 3.0 with adjusted safety commitments. https://mlq.ai/news/anthropic-releases-revised-responsible-scaling-policy-30-with-adjusted-safety-commitments/

NDTV. (2026, 10 de febrero). Anthropic’s head of AI safety quits, warns of ‘world in peril’ in cryptic resignation letter. https://www.ndtv.com/feature/anthropics-head-of-ai-safety-quits-warns-of-world-in-peril-in-cryptic-resignation-letter-10979921

Newsbriefing.eu. (2026, 29 de julio). EU AI safety unit gains powers to fine and ban frontier models from Sunday. https://newsbriefing.eu/technology/eu-ai-safety-unit-gains-powers-to-fine-and-ban-frontier-models-from-sunday

Newsweek. (2026, 9 de septiembre). AI researcher’s dire warning sparks calls for regulation ahead of midterms. https://www.newsweek.com/ai-researcher-warning-sparks-calls-for-regulation-midterms-12422040

Nextgov. (2026, 4 de septiembre). Tech bills of the week: Ban on AI superintelligence; AI oversight at the Pentagon; and more. https://www.nextgov.com/policy/2026/09/tech-bills-week-ban-ai-superintelligence-ai-oversight-pentagon-and-more/415815/

PBS NewsHour. (2026, 9 de septiembre). AI researcher warns companies are ignoring catastrophic risks. https://www.pbs.org/newshour/show/ai-researcher-warns-companies-are-ignoring-catastrophic-risks

Policy Window. (2026, 22 de junio). Catastrophic & existential risk. https://policywindow.org/wiki/catastrophic-risk

Policy Window. (2026, 31 de mayo). Compare articles: EU AI Act & UK AI white paper. https://policywindow.org/wiki/compare?a=eu-ai-act&b=uk-ai-white-paper

RegTech. (2026, 17 de agosto). EU supervisors move to contain systemic risk from frontier AI. https://www.regtech.com/news/eba-eiopa-esma-call-mitigate-ict-risks-frontier-ai

RITS, NYU Shanghai. (2026, 2 de marzo). Anthropic drops flagship safety pledge amid competitive and government pressure. https://rits.shanghai.nyu.edu/ai/anthropic-drops-flagship-safety-pledge-amid-competitive-and-government-pressure/

RTÉ. (2026, 9 de septiembre). ‘Playing with our lives’: AI worker quits Anthropic. https://www.rte.ie/news/business/2026/0909/1590913-anthropic-researcher-quits/

Sanders, B., & Casar, G. (2026, 3 de septiembre). News: Sanders, Casar to introduce legislation to ban artificial superintelligence and temporarily pause advanced AI development [Comunicado de prensa]. https://www.sanders.senate.gov/press-releases/news-sanders-casar-tointroduce-legislation-to-ban-artificial-superintelligence-and-temporarily-pause-advanced-ai-development/

SCULT. (2026, 25 de agosto). Frontier AI safety governance in 2026: Why the UN, China… https://scult.in/blog/frontier-ai-safety-governance-and-multilateral-bodies

TechCrunch. (2026, 9 de septiembre). ‘Gambling with our lives’: Anthropic researcher quits, warns against self-improving AI. https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai/

TechTimes. (2026, 27 de agosto). China mandates pre-development AI ethics review as 200 standards take effect. https://www.techtimes.com/articles/325712/20260827/china-mandates-pre-development-ai-ethics-review-200-standards-take-effect.htm

Temperature2. (2026, 3 de septiembre). Sanders bill bans AI superintelligence, 20-year terms. https://temperature2.com/p/2026-09-03-sanders-ban-artificial-superintelligence-act/

The Daily BS. (2026, 4 de septiembre). Bernie Sanders’ bill would permanently ban ‘superintelligence’ and halt AI, and includes prison time. https://thedailybs.com/2026/09/04/bernie-sanders-bill-would-permanently-ban-superintelligence-halt-ai-and-includes-prison-time/

The Guardian. (2026, 9 de septiembre). AI could kill all humans in next decade, warn experts: but how seriously should we take them? https://www.theguardian.com/technology/2026/sep/09/ai-superintelligence-risks-warnings-scientists-politicians

The Hill. (2026, 12 de febrero). AI safety researcher quits Anthropic, warning ‘world is in peril’. https://thehill.com/policy/technology/5735767-anthropic-researcher-quits-ai-crises-ads/

Time. (2026, 9 de septiembre). He helped build powerful AI at OpenAI and Anthropic. Now he’s afraid it could kill us. https://time.com/article/2026/09/09/ai-anthropic-openai-jacob-coxon/

TopTechNews. (2026, 2 de marzo). Anthropic’s safety pledge is gone — and every major AI lab… https://toptechnews.net/articles/anthropic-rsp-safety-pledge-collapse-2026.html

VFuture Media. (2026, 4 de septiembre). Bernie Sanders unveils “Ban Artificial Superintelligence Act”. https://vfuturemedia.com/ai/bernie-sanders-unveils-ban-artificial-superintelligence-act/

Washington Examiner. (2026, 3 de septiembre). Bernie Sanders introduces bill to ban artificial superintelligence. https://www.washingtonexaminer.com/policy/technology/4711885/bernie-sanders-bill-ban-artificial-superintelligence/

Wired. (2026, 9 de septiembre). The AI researcher who just quit Anthropic says it’s ‘crunch time for humanity’. https://www.wired.com/story/anthropic-researcher-quits-jacob-coxon-ai-fears-humanity/

Yahoo News. (2026, 7 de septiembre). US AI policy whiplash: Sanders-Casar ASI ban vs G20… https://www.yahoo.com/news/politics/articles/us-ai-policy-whiplash-sanders-141125778.html

Yahoo News. (2026, 9 de septiembre). Anthropic researcher quits, warns AI could kill everyone. https://www.yahoo.com/news/science/articles/anthropic-researcher-quits-warns-ai-064033707.html

Yahoo News. (2026, 9 de septiembre). Anthropic researcher resigns, warning AI companies are “gambling with our lives”. https://finance.yahoo.com/technology/ai/articles/anthropic-researcher-resigns-warning-ai-143557147.html

AI Governance Library. (2026, 31 de agosto). State of AI safety in China (2026). https://www.aigl.blog/state-of-ai-safety-in-china-2026/

AI News Home. (2026, 2 de marzo). The pressure test: What February 2026 revealed about AI’s safety promises. https://ainewshome.com/article/the-pressure-test-what-february-2026-revealed-about-ais-safety-promises/

Analysis Atlas. (2026, 12 de julio). AI governance & regulation: EU, US, China (2026) – Analysis Atlas. https://analysis-atlas.com/research/ai-governance-safety-regulation-landscape/

Anthropic. (2023, 3 de noviembre). Responsible Scaling Policy Version 3.0. https://www.anthropic.com/news/responsible-scaling-scaling-policy-v3

Anthropic. (2026, 24 de febrero). Responsible Scaling Policy (RSP) v3.0 [PDF]. https://www.anthropic.com/responsible-scaling-policy/rsp-v3-0

Anthropic. (2026, 14 de agosto). Anthropic’s Responsible Scaling Policy. https://www.anthropic.com/responsible-scaling-policy

Anthropic. (s.f.). Anthropic’s Transparency Hub: Voluntary commitments. https://www.anthropic.com/transparency/voluntary-commitments

Elephas. (2026, 24 de febrero). The biggest change to Anthropic’s AI safety policy in two… https://elephas.app/resources/anthropic-rsp-v3-policy-change

ForkLog. (2026, 8 de septiembre). Nobel laureate warns of AI’s existential risk. https://forklog.com/en/nobel-laureate-warns-of-ais-existential-risk/

House of 7.AI. (2026, 18 de febrero). The lines we won’t cross: 5 radical takeaways from Anthropic’s new safety blueprint. https://houseof7.ai/2026/02/18/the-lines-we-wont-cross-5-radical-takeaways-from-anthropics-new-safety-blueprint/

It Does What Now. (2026, 24 de febrero). Anthropic updates Responsible Scaling Policy to version 3.0. https://itdoeswhatnow.com/m/2026-02-24-anthropic-updates-responsible-scaling-policy-to-version-3/

It Does What Now. (2026, 3 de septiembre). Sanders and Casar introduce a bill to ban superintelligence and… https://itdoeswhatnow.com/m/2026-09-03-sanders-and-casar-introduce-a-bill-to-ban-superintelligence/

National Review. (2026, 4 de septiembre). Bernie’s total and complete shutdown of everything. https://www.nationalreview.com/2026/09/bernies-total-and-complete-shutdown-of-everything/

QuestA AI. (2026, 25 de agosto). Enterprise AI regulation news: EU Act & China risks. https://www.questa-ai.com/privacy-cafe/ai-regulation-news-eu-act-china-policy-security-risks

The Rundown.AI. (2026, 10 de septiembre). An Anthropic exit becomes an extinction debate. https://www.therundown.ai/articles/an-anthropic-exit-becomes-an-extinction-debate

Watts Up With That. (2026, 7 de septiembre). Bernie Sanders proposes a “Ban Artificial Super-intelligence Act”. https://wattsupwiththat.com/2026/09/07/bernie-sanders-proposes-a-ban-artificial-super-intelligence-act/