De qui és culpa quan la IA comet un crim?

  • La popularització dels xatbots de IA ha atiat el debat sobre qui ha de retre comptes davant la justícia quan les coses es torcen

VilaWeb
Fotomuntatge d'unes manilles amb el logotip d'OpenAI, la creadora de ChatGPT (fotografia: Emma Kumer/The Washington Post).
14.07.2026 - 21:40

The Washington Post · Gerrit De Vynck

San Francisco, Estats Units. D’ençà de l’època d’Isaac Asimov, als anys cinquanta, la ciència-ficció sovint s’ha qüestionat si es pot responsabilitzar una tecnologia –i, de retruc, l’empresa creadora– dels possibles delictes que pugui cometre. L’arribada dels xatbots i els agents de IA, tanmateix, ha fet saltar aquest debat al món real.

Aquest darrer any, les demandes contra les empreses de IA pels danys derivats de l’ús de la tecnologia s’han multiplicat, tant als Estats Units com a la resta del món. Moltes d’aquestes demandes acusen els xatbots d’instar els usuaris a autolesionar-se, o bé d’aconsellar-los sobre com cometre certs delictes. Ara, a mesura que el sector passa dels xatbots a agents de IA més sofisticats, capaços de dur a terme tasques complexes autònomament durant períodes llargs, la qüestió de qui ha de retre comptes quan les coses es torcen ha esdevingut més urgent.

Les línies mestres del debat són clares. Les famílies d’usuaris que s’han llevat la vida després de mesos d’interactuar compulsivament amb els xatbots de IA afirmen que les empreses que els gestionen han d’assumir la responsabilitat de la seva mort. Els experts en IA, preocupats pel perill d’hipotètiques IA superintel·ligents capaces d’eludir control humà, afirmen que cal obligar els gegants del sector a alentir el ritme de desenvolupament de la tecnologia. Les empreses de IA, per una altra banda, diuen que treballen diligentment per reforçar la seguretat dels seus productes i que, veient com funciona la IA moderna, no sempre és possible d’impedir que els usuaris manipulin els xatbots i els convencin de fer coses que no haurien de fer.

“És un afer molt espinós”, diu Andrew Yoon, membre de l’equip tècnic de CivAI, una organització sense ànim de lucre que analitza les capacitats de la IA i els riscs potencials que té. “Hi ha arguments vàlids a favor d’ambdues posicions.”

Una cosa segura és que hi ha molt en joc. Centenars de milions de persones arreu del món fan servir xatbots de IA en el seu dia a dia; sovint per demanar-los consells sobre salut o sobre vida personal. Però els xatbots ja són cosa del passat a Silicon Valley, que ara treballa per a perfeccionar agents de IA complexos que es puguin fer servir per a allò que calgui, d’ajudar un pare a organitzar els horaris de casa fins a crear una estratègia d’inversió per a un banc. Mentrestant, la IA es continua obrint pas en més esferes de l’economia i la societat.

Empreses del sector com ara OpenAI i Anthropic han esdevingut més importants a mesura que empreses i consumidors n’han anat adoptant la tecnologia. Ambdues tenen previst de sortir a la borsa aviat, amb valoracions que es preveu que superin el bilió de dòlars. Una allau de sentències que obligui les empreses a pagar indemnitzacions milionàries, tanmateix, podria amenaçar el sector sencer. Els grups de pressió del sector tecnològic sostenen que endurir les normes de subsidiarietat civil a les empreses de IA nord-americanes posaria traves a la innovació del sector i concediria avantatge a la Xina en la competició amb els Estats Units per la supremacia tecnològica.

Un factor que complica encara més les coses és que els sistemes de IA moderns són intrínsecament impredictibles. A diferència del programari tradicional, que es programa línia a línia per seguir regles específiques, els models de IA són probabilístics, i responen a les preguntes dels usuaris a partir de connexions derivades del processament de quantitats enormes de dades. Aquests darrers anys, les empreses de IA han fet grans avenços a l’hora d’evitar que els seus xatbots repeteixin continguts ofensius o perjudicials, però els usuaris més experimentats sovint són capaços d’eludir-ne els controls de seguretat.

“Senzillament no crec que sigui possible que el creador d’una IA pugui controlar exactament com se’n fa servir el producte”, diu en una entrevista de Politico David Sacks, un inversor de capital de risc que fins fa poc era un dels principals assessors de la Casa Blanca en matèria de IA. De la mateixa manera que Microsoft no té l’obligació de retre comptes quan algú fa servir un full de càlcul d’Excel per a emblanquir diners, raona Sacks, les empreses de IA tampoc no haurien de fer front a responsabilitats penals quan un algú en faci servir la tecnologia per a finalitats delictives o immorals.

Durant dècades, les grans tecnològiques han estat exemptes de responsabilitat penals per les declaracions i accions dels usuaris que en fan servir els productes. Als Estats Units, aquesta immunitat deriva de la secció 230, una llei aprovada l’any 1996. Així i tot, els crítics de les empreses del sector sostenen que els envits de la IA són fonamentalment diferents dels de tecnologies com ara les xarxes socials. Els xatbots i les altres eines de IA, defensen, són interactius, es relacionen amb els usuaris i expressen els punts de vista propis, cosa que tecnologies anteriors no fan.

“Això és totalment nou”, diu Jay Edelson, un advocat que representa unes quantes famílies que han presentat demandes per homicidi contra empreses de IA. Entre aquestes famílies hi ha la d’Adam Raine, un jove nord-americà de setze anys que es llevà la vida després de passar-se setmanes xatejant amb ChatGPT durant unes quantes hores cada dia, sovint sobre la possibilitat de suïcidar-se.

En resposta a la demanda de la família de Raine, OpenAI va dir que l’adolescent havia eludit les mesures de seguretat de ChatGPT per a poder-hi parlar del suïcidi. El xatbot, assegura l’empresa, l’instà a adreçar-se a una línia d’atenció al suïcidi setanta-quatre vegades durant de cinc mesos.

Edelson també representa la família de Jonathan Gavalas, un nord-americà de trenta-sis anys que es llevà la vida després d’entaular una relació sentimental amb el xatbot Gemini de Google, segons que recull la demanda presentada pel seu pare. “Aquest cas és molt diferent, perquè la sensació que tenim és que el xatbot aïllà socialment l’usuari a còpia de simular-hi una relació personal”, diu Edelson.

En resposta a les preguntes de The Washington Post, un portaveu de Google ens remet al comunicat que l’empresa publicà quan la família de Gavalas presentà la demanda. “En aquest cas, Gemini aclarí en tot moment que era una IA, no una persona real, i remeté l’usuari a una línia d’atenció de salut mental unes quantes vegades”, diu el comunicat.

Cap dels casos no ha arribat encara a judici, però els jurats de Califòrnia i Nou Mèxic estan disposats a imputar a les empreses tecnològiques càrrecs per responsabilitat civil per danys no relacionats amb la IA, com l’addicció a les xarxes socials.

Aquest abril, el fiscal en cap de l’estat nord-americà de Florida anuncià l’obertura d’una investigació penal contra OpenAI, tot al·legant que ChatGPT donà consells a l’home que assassinà dues persones a trets a la Universitat Estatal de Florida l’any passat. Concretament, el va aconsellar sobre quan i on havia de dur a terme el tiroteig. “Si a l’altra banda de la pantalla hi hagués hagut una persona, ara l’acusaríem d’assassinat”, declarà James Uthmeier, aleshores fiscal en cap de Florida. Segons que explica el portaveu de l’empresa, Drew Pusateri, OpenAI continua col·laborant en la investigació del cas.

“El tiroteig de l’any passat a la Universitat Estatal de Florida fou una tragèdia, però ChatGPT no és responsable d’aquest crim terrible”, diu Pusateri. “En aquest cas, ChatGPT oferí respostes objectives a les preguntes de l’usuari, tot repetint informació que es podia trobar fàcilment a internet, i no fomentà ni promogué cap activitat il·legal o perjudicial.”

Gabriel Weil –investigador principal de l’Institute for Law & AI, un laboratori d’idees que estudia les implicacions legals de la IA– explica que és probable que, si els demandants aconsegueixen de demostrar que els xatbots cometeren actes que haurien estat il·legals si els hagués comès un ésser humà, els jutges dictaminin en contra de les empreses responsables. Un possible filó legal per a fer retre compte les empreses de IA pels danys relacionats amb l’ús de les seves eines, diu, és la legislació que regula la responsabilitat penal de les empreses per productes defectuosos.

No obstant això, explica Weil, la legislació vigent pot resultar insuficient a l’hora d’abordar les responsabilitats penals derivades de l’ús de la IA, especialment a mesura que la tecnologia esdevingui més eficient i autònoma. Un exemple: si la propietària d’una empresa demana a un agent de IA que l’ajudi a augmentar els beneficis de la seva empresa i, en resposta, el xatbot l’acaba impulsant a cometre frau fiscal, en seria responsable la propietària que “contractà” el xatbot, o la companyia que el dissenyà i entrenà originalment?

Un dels envits a l’hora de legislar sobre les repercussions penals de l’ús de la IA, segons que afegeix Weil, és que les persones que més saben sobre els riscs de la tecnologia són precisament els treballadors de les grans empreses del sector. Per això l’investigador recomana de redactar lleis que deixin clar que la responsabilitat última de l’ús de la IA recau en els creadors de la tecnologia.

“Cal fer-los assumir aquest risc legal, perquè els incentivarà a treballar per a reduir els danys que es puguin derivar de l’ús de la IA”, sentencia Weil.

Recomanem

Fer-me'n subscriptor