Especialistes en Dret i Matemàtiques analitzen riscos per als drets fonamentals en els algorismes usats per la policia i en presons
Un equip d’especialistes en Dret, Matemàtiques i Estadística de les universitats de València i Politècnica de València alerta dels riscos en l’ús de tres eines predictives utilitzades en la gestió policial i en la classificació penitenciària. L’estudi ha estat dirigit per la professora de Dret Penal de la Universitat de València Lucía Martínez Garay.
L’equip ha analitzat eines que funcionen amb Intel·ligència Artificial (IA) o algorismes. Es tracta de VioGén, empleada per la policia a Espanya per a avaluar el risc de revictimització de les dones que han denunciat situacions de violència de gènere; RisCanvi, utilitzada pel sistema de presons català com a suport per a la presa de decisions en matèria de règim i tractament; i VeriPol, una eina d’IA de què disposa la policia espanyola per a detectar denúncies falses de robatori per mitjà del seu contrast amb patrons de llenguatge natural.
L’estudi publicat alerta dels riscos que l’ús d’aquestes tres eines podria generar per als drets fonamentals dels ciutadans, així com de possibles discriminacions que podrien derivar-se per a col·lectius vulnerables.
En primer lloc, constata algunes mancances generals comunes a les tres eines pel que fa a la seua adequació al marc jurídic vigent en matèria de protecció de dades (els drets d’accés als mateixos o la verificació d’absència de riscos requereixen d’avaluacions més sistemàtiques i profundes que les disponibles). D’altra banda, aprecia dèficits encara importants en la transparència d’aquests sistemes, tant pel que fa a la informació que sobre els mateixos està a la disposició de la ciutadania en general, com quant a la informació concreta respecte dels usos que es donen en cada cas i les seues exactes implicacions i conseqüències, encara que la situació difereix per a cada eina (sent RisCanvi la més transparent, i Veripol la més opaca). Addicionalment, en el marc de la pròxima entrada en vigor del Reglament europeu sobre Intel·ligència Artificial (RIA), ha d’assenyalar-se que caldrà un major esforç en aquests dominis, especialment quan les exigències del RIA passen a ser obligatòries també per a les eines d’IA emprades pels poders públics, i pel que fa a l’avaluació dels seus efectes sobre els drets fonamentals.
Respecte de possibles biaixos o discriminacions, l’informe subratlla que el problema més greu és la dificultat per a estudiar aquesta important qüestió de manera sistemàtica, completa i exhaustiva, a causa de l’absència de dades i informació suficient públicament accessible que permeta una avaluació i contrast externs. Això no obstant, i subratllant que les conclusions han de prendre’s amb cautela en haver hagut de treballar amb informació incompleta, l’estudi apunta la possible existència de biaixos que perjudiquen a vegades alguns col·lectius: VioGén sembla protegir de forma una mica menys eficaç a les dones víctimes que són d’origen no espanyol i RisCanvi sembla ser més sever amb col·lectius com a persones amb problemes de salut mental o d’addiccions, o persones amb una situació socioeconòmica molt desfavorable, en assignar-los un risc de reincidència violenta més alt que als qui no es troben en aquestes circumstàncies, i més alt també del que correspondria d’acord amb les dades disponibles sobre la seua reincidència real. D’altra banda, l’informe també qüestiona fins a quin punt pot resultar legítim, i proporcionat a la fi de la prevenció de delictes, utilitzar informació personal molt sensible per a estimar riscos de reincidència sobre els quals es donaran suport a decisions restrictives de drets.
Quant a la capacitat predictiva d’aquestes eines, la informació disponible per a fer una avaluació rigorosa és molt dispar (hi ha més sobre RisCanvi, molta menys sobre VioGén, i pràcticament cap en el cas de VeriPol), la qual cosa també dificulta l’anàlisi externa.
Amb les dades disponibles, pot concloure’s que en general aquests sistemes detecten millor els casos de risc baix que els de risc alt. Però l’informe subratlla sobretot la necessitat de tindre en compte la fi per al qual s’utilitzarà la informació: un mateix percentatge d’encert en les prediccions podria considerar-se prou bo per a unes certes decisions, però no per a unes altres, segons com d’intensa siga la restricció de drets fonamentals que pretén secundar-se en eixa informació.
