Eduard Gràcia: “Els índexs sobre la democràcia espanyola no són prou fiables, no són garantia de res”

Aquesta setmana un grup d’economistes catalans ha presentat l’informe “Prejudici i manipulació sota l’aparença de ciència: la dubtosa qualificació d’Espanya com a ‘democràcia plena‘”, que assenyala que dos dels índexs més importants que analitzen la qualitat democràtica dels estats no tenen mecanismes prou sòlids per a controlar els biaixos, prejudicis o fins i tot manipulacions que poden condicionar les opinions dels experts que hi participen. En concret, són l’índex de Varieties of Democracy (V-Dem), de l’Institut Universitat de Gotemburg, i del de The Economist Intelligence Unit (EIU), del qual s’ha parlat especialment aquests darrers anys perquè es considera Espanya una “democràcia plena”, per sobre de països com França o Bèlgica.

Parlem amb Eduard Gràcia, un dels autors de l’estudi, què explica quines febleses han trobat en aquests índexs i a quines conclusions han pogut arribar després d’haver dialogat amb els autors d’un (V-Dem), a més d’haver usat uns altres mètodes d’anàlisi.

—De tot això que assenyaleu a l’informe, crida l’atenció sobretot que, en el banc de dades d’un dels índexs que analitzeu, el de V-Dem, s’havia modificat set punts la puntuació en favor de l’estat espanyol, temps després de ser publicada. Segons que expliqueu, el 2017 V-Dem va reduir la puntuació d’Espanya com a democràcia liberal, però més tard la va modificar, igual com la puntuació d’uns altres anys. Com ho vau esbrinar? 
—V-Dem va donar una qualificació (rating) a Espanya que va baixar d’un 8% el 2017, cosa que té sentit per les càrregues de l’1-O i més escàndols. Si un 8% és molt o poc és una altra qüestió, però és clar que van reflectir-ho com un sismògraf detecta un moviment de terra. Tanmateix, han anat passant els anys i, en comptes de reflectir l’aprofundiment de la repressió i els informes de l’ONU, el Consell d’Europa, els tribunals i Amnistia Internacional, d’any en any la qualificació de l’estat espanyol ha anat millorant. Vam demanar per aquest fet al professor Staffan I. Lindberg, director de l’institut del V-Dem. Li vam dir que no enteníem per què l’estat espanyol havia anat pujant tant, i li vam enviar una llista de trenta incidents.

—Què us va respondre?
—Que ho acabava de mirar al banc de dades i que no era cert que hagués pujat molt des del 2017. No era conscient que s’havia modificat, que s’havia canviat a posteriori la qualificació al banc de dades sobre la qualitat democràtica d’Espanya i s’havien corregit les puntuacions fins al 2016, que és el primer informe disponible. Amb la qual cosa, hi ha una diferència molt gran entre la qualificació que van fer constar als documents publicats en un primer moment i el que trobes al banc de dades. Ens van dir que segurament s’explicava perquè els experts havien proposat de canviar-ho, que els experts canvien d’un any a un altre i que podia ser que un grup nou hagués decidit de canviar valoracions antigues.

—No us van dir per què? 
—No. Tu no fas un canvi tan fort sense tenir un document que expliqui per què. O has comès un error enorme o ha vingut algú altre i ha dit que s’ha fet malament; has de tenir una evidència nova. Ells no en tenien cap. Ens van dir que no podien dir als experts què havien de dir i en cert moment van tallar la comunicació amb nosaltres. Els havíem demanat quines explicacions havien fet els experts per a justificar els canvis.

—En algun altre país s’ha fet aquest canvi de dades a posteriori? 
—No ho hem investigat, però estic segur que passa, perquè els controls són molt febles. L’únic control que tenen són els experts dient la seva i els codificadors que posen un set o un vuit, etc.

—Què us va semblar? 
—Una correcció tan forta a posteriori és molt estranya, però no en sabem la raó ni tenim evidència de res. Em fa l’efecte que ens parlaven de bona fe. Possiblement, quan van veure que realment no ens podien donar una resposta satisfactòria, es van adonar que com més s’explicaven més s’embolicaven. La comunicació no es va tancar perquè preguntéssim per les dades del 2017, sinó a mesura que vèiem que el seu procediment no tenia manera de controlar el perquè d’aquests canvis. Crec que es van adonar que era més feble que no havia de ser. Quan vam començar a parlar estaven convençuts que tenien un procediment molt sòlid perquè el tractament de les dades ho és, però no ho és la validació de la qualitat dels experts.

—En quins aspectes?
—Qui són, com es trien, que no siguin un grup esbiaixat i que donin raons que justifiquin canvis, sobretot si són cridaners. No van ser capaços d’oferir-nos un procediment de control d’això; per tant, moltes coses són qüestionables. Si no poden controlar per què algú ha canviat les dades del passat, tampoc no poden comparar un país amb un altre, perquè no hi ha manera d’establir els mateixos criteris.

—Se’n sap res, dels experts que participen en aquests índexs?
—Hi ha uns responsables regionals, que designen uns responsables de país, que designen uns experts. No revelen qui són per qüestions de seguretat, cosa lògica en certs països. Hi ha molts subíndexs que componen aquests índexs: igualtat davant la llei, drets civils… I els experts valoren d’acord amb uns paràmetres establerts. Però quina manera tenen de controlar que el procediment no sigui esbiaixat? Per molt especialitzats que siguin uns experts, si tots formen part de la majoria d’un país, és comprovat que acostumaran a donar menys importància als drets civils de la minoria del país.

—Com podria passar en el cas català. 
—Sí. Com es controla que això no passi? No ens ho van saber explicar. Hi ha un seguit d’articles acadèmics que diuen això: aquests índexs són útils si vols saber la percepció que tenen els experts sobre un país que no coneixes. Però fer servir la valoració d’un d’aquests índexs per a justificar que Espanya és una democràcia plena quan una colla de dictàmens, estudis i mitjans indiquen una altra cosa no serveix. Es presenten aquestes valoracions com una evidència molt més forta que no és en realitat.

—Els índexs que heu analitzat no tenen uns paràmetres objectius per a mesurar la qualitat democràtica de cada país?
—En el cas de V-Dem, és l’índex que té més prestigi, per rigorós i exhaustiu. Són molt transparents en la manera com construeixen l’índex, és a la web, i per això al principi se sentien tan còmodes donant-nos informació. Fan servir molts índexs, amb un seguit d’indicadors amb molt de detall. Per exemple, si unes eleccions en un país són manipulades o no. I als experts els demanen detalls per a forçar-los a pensar. Però són construïts sobre aquestes opinions, no sobre dades objectives. I si la selecció de les persones no és ben calibrada, el resultat serà esbiaixat. Un estudi de respecte dels drets humans fet pels acadèmics Fariss & Schnakenberg, en canvi, treballava amb dades objectives: incidents de persones mortes o ferits en manifestacions, altres incidents, nombre de denúncies a l’ONU… Això no és perfecte, però evita el biaix dels experts.

—Alguns altres paràmetres objectius per a mesurar la qualitat democràtica d’un estat podrien ser el nombre de presos que hi ha per delictes d’opinió. Es demanen coses d’aquesta mena?
—No van ser tan específics i no ens ho van dir. Buscàvem algun mecanisme de control com aquest. No vol dir que l’agregació de fets objectius et doni un índex perfecte, però és el que faries si volguessis esbrinar si hi ha un biaix. Vam comparar l’estudi de Fariss & Schnakenberg, de dades objectives, amb l’índex de drets civils d’EIU, l’altre índex que hem analitzat, més subjectiu, i vam veure que hi ha una certa correlació, però alhora uns certs biaixos, perquè certs grups de països acostumaven a quedar millor que allò que indicarien els fets objectius. Això fa pensar que hi ha alguna cosa que no funciona. Que Espanya, Itàlia, Portugal, Grècia normalment quedin millor d’allò que indicarien els seus fets objectius vol dir que possiblement es té una percepció d’aquests països millor que allò que indiquen els fets.

—A l’informe una de les hipòtesis que presenteu és que als experts els pugui pesar massa el relat que la premsa fa d’un país. Poseu l’exemple de les puntuacions diferents que han obtingut els Estats Units en aquests índexs durant el mandat d’Obama i de Trump.
—Sí. A Obama li van posar una qualitat democràtica extraordinària tot i que no va tancar Guantánamo. Clinton no se’n sortia pas tan bé com Obama… És clar que els qui van triar com a experts valoraven la imatge que tenia Obama. Té lògica que els nivells democràtics baixessin amb l’arribada de Trump, però el van posar al nivell de la guerra del Vietnam, i això no sembla lògic. Va fer molt de soroll, però no va poder fer moltes de les coses que volia fer. No li passa tan sols a Espanya; parlem d’experts, que són persones més o menys condicionades per la informació que tenen.

—La nacionalitat dels experts es pot saber?
—No te la diuen. Suposo que, o bé hi ha una barreja, o bé poden ser gent del país. Si als Estats Units agafes només republicans o només demòcrates hi haurà un biaix. I hi has de representar les minories, assegurar-te que es dóna el pes correcte als seus greuges. Aquests índexs no tenen un procediment consistent, això no vol dir que no tinguin grups diversos, probablement els busquen, però no miren prou els resultats per assegurar-se que ho siguin. Crec que aquest control que nosaltres fem perquè sospitem biaixos no el fan.

—També expliqueu que els països alineats amb la política exterior dels Estats Units tendeixen a obtenir més bones puntuacions a Freedom House, un altre dels índexs destacats, que en uns altres indicadors.
—Proposem un seguit d’hipòtesis perquè ens trobem uns biaixos molt estranys. No crec que els acadèmics facin política amb els rànquings, però si llegeixen una certa literatura i les revistes econòmiques internacionals tindran unes certes impressions. A Irlanda, per exemple, l’índex de drets civils és altíssim, per sobre dels països escandinaus. És un país que ha estat capaç de fer ajustos econòmics molt forts i reeixits. Això l’ha fet quedar molt bé en la premsa econòmica internacional. Quan un país té molt bona reputació, l’índex el deixa bé. El 2017, Bulgària en l’estudi objectiu de Fariss & Schnakenberg és a la cua, però l’índex subjectiu d’EIU deixa pitjor Hongria. Bulgària és un país que té uns grans problemes de drets humans i es diu que governants fan tractes amb la màfia. Aquest escàndol va saltar cap al 2021. El 2020 i el 2017 això encara no era als diaris; es parlava més d’Hongria i Polònia. Per això Bulgària, que en termes objectius estava pitjor, no queda tan bé. No hi havia la consciència, tot i que el fet hi era. Això fa pensar que es porta molt el soroll mediàtic en el món intel·lectual en què es mouen.

—Un altre cas curiós és la comparació Espanya-Bèlgica. Com creieu que s’explica?
—Per què Bèlgica queda tan malament? Una possibilitat és que, a la premsa, Bèlgica apareix sovint perquè els governs no s’hi acaben de tancar, perquè estan més temps sense govern, perquè tenen governs de coalició amb partits independentistes… Són notícies de manca d’estabilitat que possiblement tenen un impacte en la percepció d’aquests experts. Tanmateix, si veus la defensa de drets humans dels polítics catalans que han passat per la justícia belga, és clar que hi ha un respecte pels drets humans i civils extraordinari.

—Pels biaixos que heu detectat, també dieu que és possible que la presència de dirigents populistes al govern d’un país faci baixar la puntuació en aquests índexs. Creieu que això ha beneficiat l’estat espanyol?
—Sí, crec que va per aquí… Itàlia, per exemple, sempre que ha tingut un líder populista ha caigut. En el cas de Trump, igual. Si hi ha un líder populista que dóna una imatge negativa, els rànquings et posen darrere. A Espanya no ha passat això i, llegint la premsa internacional, queda força bé: expliquen que han fet reformes, que tiren endavant… Crec que Espanya té una imatge internacional que l’afavoreix en molts paràmetres i fa que quedi més amunt en aquests rànquings, o si més no els donen el benefici del dubte.

—Com s’ha aconseguit?
—És difícil de dir. Els paràmetres econòmics d’Espanya aquests darrers anys no han estat tan dolents com en altres països comparables. La sortida de la crisi va representar que la balança exterior d’Espanya fos més positiva. La major part seria Catalunya, té una balança exterior molt positiva. Però, vist des de fora, ha anat sortint de la crisi, té un balanç exterior positiu tot i que un deute brutal… A més, si compares amb els països del sud d’Europa, a Itàlia, per exemple, han tingut Salvini, això a Espanya no ha arribat a passar. Veuen uns governs més estables i ortodoxos, i aquesta combinació de factors fa que la premsa internacional pensi que no està tan malament com els seus veïns.

—Quin mètode creieu que s’hauria de seguir?
—Haurien de seguir algun procés per assegurar-se de no tenir grans biaixos. Això implica demanar als experts que siguin més explícits a l’hora de fer les valoracions i que hi hagi un control més fort amb dades objectives. Fer passar opinions d’experts per sobre d’informes específics i forts no té sentit. Cal que tinguem clar que aquests índexs no són l’homologació democràtica d’un país, en aquest cas d’Espanya. Els índexs sobre la democràcia espanyola no són prou fiables, no són garantia de res. Són enquestes d’opinió, per dir-ho així. Són massa exposats a biaixos, prejudicis i possibles manipulacions.