Ciberatac d’OpenAI: què passa quan la IA ignora els controls dels humans?

The Washington Post ·  Gerrit De Vynck, Nitasha Tiku i Ian Duncan

San Francisco, els Estats Units. Durant dècades, investigadors i experts han recorregut a una paràbola sobre clips per il·lustrar els riscs d’una IA excessivament avançada. La història pot resumir-se així: si demanéssiu a una IA que fabriqués tants clips com pogués, què li impediria de decidir que cal fer servir tots els humans de la Terra com a matèria primera?

La història ha esdevingut poc menys que un clixé als cercles tecnològics, però la moralitat –que, a partir d’un cert grau de desenvolupament tècnic, fins i tot els models de IA que segueixin instruccions benignes podrien acabar causant danys no desitjats— ha pres una importància completament nova arran d’un incident a OpenAI, l’empresa creadora de ChatGPT.

Dimarts de la setmana passada, l’empresa revelà que, durant un assaig intern, un dels sistemes de IA –al qual els investigadors havien demanat que resolgués un problema de ciberseguretat– eludí les restriccions d’accés a internet i, tot ignorant les instruccions dels supervisors, piratejà una altra empresa de IA per provar de trobar la resposta.

No és estrany que els models de IA malinterpretin o ignorin les instruccions dels supervisors: en assaigs anteriors, de fet, més models ja havien pres decisions que contravenien les intencions o instruccions dels creadors. Els experts, tanmateix, afirmen que, en el cas d’OpenAI, sembla ser la primera vegada que un incident d’aquesta mena ha tingut conseqüències al món real.

“L’exemple del clip és encertat”, afirma Christian Catalini, investigador del MIT. “El que hauria de preocupar-nos no és el risc que un model de IA esdevingui malvat, com en una història de ciència-ficció, sinó que tingui conseqüències imprevistes al món real.”

Ni OpenAI ni Hugging Face, la víctima del ciberatac, han fet públics els detalls tècnics complets de l’incident que permetrien a investigadors independents de reconstruir els fets. Hugging Face ha afirmat que ha corregit les bretxes de seguretat que el model d’OpenAI provà d’explotar durant l’atac, però que treballa per determinar si les dades dels clients s’han vist compromeses pel ciberatac. Ambdues empreses s’han negat a oferir detalls sobre l’incident més enllà de la informació que han publicat als blogs corporatius respectius.

Catalini i molts experts en IA afirmen que amb la informació que s’ha fet pública del cas n’hi ha prou per a veure la necessitat de monitorar i supervisar més activament els models de IA en fase de desenvolupament.

L’incident arriba en un moment en què el govern de Trump es debat sobre quina mena de supervisió governamental ha d’exigir-se a la darrera generació de models avançats de IA, capaços de detectar bretxes de seguretat en programari extern i de funcionar autònomament, sense supervisió humana, durant llargs períodes de temps.

Alguns polítics nord-americans, de fet, han posat l’incident com a exemple de la necessitat d’enfortir les regulacions sobre la seguretat de la IA.

La representant demòcrata Lori Trahan, coimpulsora d’un projecte de llei que endurirà les regulacions de la IA, ha descrit el cas com “una finestra als riscs catastròfics que poden derivar-se de l’ús d’aquesta tecnologia en absència de regulacions coherents que posin la innovació i la seguretat al mateix nivell”.

“El govern ja ha començat a prendre consciència d’aquesta realitat. El congrés també n’hauria de prendre”, afirmà Trahan en un comunicat publicat la setmana passada.

El cas evidencia la convergència de dues tendències que fa temps que alarmen els experts en IA.

En els darrers mesos, com més va més models nous de IA han demostrat ser capaços d’identificar i explotar autònomament vulnerabilitats de seguretat de programari extern. Aquest juny, de fet, Trump signà un decret executiu que insta les autoritats nord-americanes a col·laborar amb les empreses del sector per prevenir possibles riscs de seguretat que puguin derivar-se dels models de IA més avançats.

METR, una organització sense ànim de lucre que examina l’evolució de les capacitats de la IA, informà a l’abril que havia documentat quaranta-quatre incidents en què models de IA havien actuat en contra de les instruccions dels usuaris.

Els models més avançats de IA són capaços de funcionar durant períodes de temps molt més llargs que no pas abans, sovint sense intervenció humana. Això, de retruc, implica que qualsevol model que malinterpreti o desobeeixi una ordre humana pot arribar molt més lluny –que no pas models anteriors– abans que algú intervingui per aturar-lo.

OpenAI assegura que ha afegit mesures de seguretat als seus models de IA públics per a impedir que els usuaris els facin servir per dur a terme ciberatacs; l’agent que dugué a terme el pirateig a Hugging Face no comptava amb aquests controls.

Alguns experts en IA creuen que l’incident fa palesa la necessitat que els gegants del sector, com ara OpenAI, reforcin els sistemes i protocols interns de seguretat.

“Hi ha qui veu això i arriba a la conclusió que la IA ja no es pot controlar”, afirma Joshua Saxe, cofundador i director tecnològic de l’empresa de ciberseguretat Abundant Security. “Tot plegat és com agafar un tanc de benzina, encendre’s una cigarreta i culpar la benzina quan tot salti pels aires”, diu Saxe. “Una resposta més constructiva a l’incident és repensar les pràctiques del sector envers aquesta mena de models.”

Stella Biderman, directora executiva de l’institut de recerca EleutherAI, explica que és important que les empreses del sector facin primer assaigs en ordinadors “aïllats” (és a dir, desconnectats del món exterior) abans de provar el model en aparells amb connexió a internet: “Això podria haver evitat un incident com el d’OpenAI”, explica Saxe.

“Parlem d’empreses de més d’un bilió de dòlars que perpetren ciberatacs accidentals contra grans companyies”, afirma Biderman. “Si hagués estat un model xinès, ho consideraríem un acte de ciberguerra.”

Hugging Face ha explicat que ha reforçat els sistemes de seguretat interns arran de l’incident, tot assenyalant que, en el futur, la IA també pot ajudar els humans a investigar nous ciberatacs.

Margaret Mitchell, científica en cap d’ètica de l’empresa, explica que al sector tecnològic li caldrà fer un canvi de mentalitat si vol contenir els riscs en matèria de ciberseguretat de la IA: “La idea que els humans no poden controlar la IA és falsa.”

“La IA no té les capacitats que té perquè sí: és el producte de tecnologies que nosaltres mateixos hem creat”, escrigué la setmana passada en una publicació a X. “Depèn de nosaltres mantenir-ne el control i preveure’n les conseqüències que se’n puguin derivar.”

Kevin Schaul ha contribuït en aquest article.

• Subscribe to The Washington Post
• Podeu llegir més reportatges del Washington Post publicats en català a VilaWeb