“Podria matar tots els humans”: un responsable de seguretat d’Anthropic admet el perill de la intel·ligència artificial

Evan Hubinger, responsable de Ciència d’Alineació d’Anthropic –una companyia de desenvolupament d’IA– ha admès que la intel·ligència artificial podria ser perillosa per a l’ésser humà. “Realment creiem que la IA podria matar tots els humans”, ha escrit a X.

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ

— Evan Hubinger (@EvanHub) September 9, 2026

Hubinger calcula que hi ha una probabilitat superior al 10% que això pugui passar durant la pròxima dècada. Tot i dir que Anthropic fa tot el possible per evitar-ho, admet que la companyia encara no té cap pla per resoldre el problema de l’alineació d’una futura superintel·ligència i que tampoc no és clar que vagi pel bon camí per aconseguir-ho.

L’investigador dirigeix el departament de ciència de l’alineació (alignment science, en anglès), un àmbit de recerca que mira de garantir que els sistemes d’intel·ligència artificial actuïn d’acord amb els valors, els objectius i els interessos humans.

Aquest missatge arriba arran d’un altre fil a X de Jacob Coxon, un altre treballador d’Anthropic que ha dimitit perquè considera que tant aquesta companyia com OpenAI, on també havia treballat, desenvolupen la intel·ligència artificial de manera irresponsable i avancen massa de pressa cap a sistemes de superintel·ligència. “Avui he dimitit d’Anthropic. He passat aquests darrers tres anys investigant el pre-entrenament tant a OpenAI com a Anthropic. Cap de les dues empreses no actua responsablement. Corren directament cap a una superintel·ligència capaç de millorar-se a si mateixa i juguen amb les nostres vides”, ha escrit Coxon a X.

The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible – but I hear the same people express fear…

— Jacob Coxon (@hilbertspaess) September 9, 2026

Coxon sosté que dins el sector hi ha una consciència creixent dels riscs que pot comportar el desenvolupament accelerat de la IA, però adverteix que molts directius tendiran a minimitzar-los.

Segons ell, a OpenAI molts treballadors encara no han interioritzat prou les conseqüències que podria tenir aquesta tecnologia per a la civilització. A Anthropic, en canvi, diu que els riscs són més ben coneguts, però que l’empresa considera que ha d’arribar abans que els competidors perquè no confia que els altres actuïn responsablement. “Acceptar aquesta cursa i entrar en la fase final és una aposta temerària que no s’hauria de fer des de l’Slack d’una empresa privada”, ha advertit.

La superintel·ligència és, ara com ara, un concepte teòric que descriu una intel·ligència artificial capaç de superar àmpliament les capacitats intel·lectuals humanes. Hubinger situa el principal perill en sistemes que puguin millorar-se de manera recursiva, un procés que, segons ell, avança més de pressa que no es preveia.

Les advertències sobre els riscs dels models d’IA més avançats no són noves. A començament de setembre, el científic en cap d’OpenAI, Jakub Pachocki, va reclamar una “precaució extrema” davant l’evolució d’aquests sistemes.

Pachocki va advertir que una IA no necessita superar els humans en totes les capacitats per a ser “molt útil o molt perillosa”, sinó que n’hi ha prou que els superi en prou àmbits. Segons ell, a mesura que els models avancen és més difícil de determinar exactament fins on arriben les seves capacitats.

Aquest estiu també hi ha hagut uns quants episodis que han intensificat el debat sobre la seguretat. Al juliol, OpenAI va explicar que un model que provava en un entorn aïllat havia aconseguit atacar informàticament Hugging Face sense que aquesta acció formés part explícitament de la prova. Anthropic i Meta també han reconegut comportaments semblants dels seus sistemes en proves de seguretat.

Més de 1.300 treballadors d’empreses d’intel·ligència artificial van signar al juliol una carta oberta en què reclamaven al govern dels Estats Units que impulsés una campanya internacional per desenvolupar mecanismes tècnics i de governança que permetessin de controlar el ritme d’avanç dels models més potents.

Al congrés nord-americà també avança una proposta de llei, l’AI Kill Switch Act, que permetria d’interrompre el funcionament de models d’intel·ligència artificial que representessin una amenaça per a la població.