Especialistas de la UV analizan riesgos para los derechos fundamentales en los algoritmos usados por la policía y en prisiones
Un equipo de especialistas en Derecho, Matemáticas y Estadística de las universidades de València y Politècnica de València alerta de los riesgos en el uso de tres herramientas predictivas utilizadas en la gestión policial y en la clasificación penitenciaria. El estudio ha sido dirigido por la profesora de Derecho Penal de la Universitat de València Lucía Martínez Garay.
El equipo ha analizado herramientas que funcionan con Inteligencia Artificial (IA) o algoritmos. Se trata de VioGén, empleada por la policía en España para evaluar el riesgo de revictimización de las mujeres que han denunciado situaciones de violencia de género; RisCanvi, utilizada por el sistema de prisiones catalán como apoyo para la toma de decisiones en materia de régimen y tratamiento; y VeriPol, una herramienta de IA de que dispone la policía española para detectar denuncias falsas de robo por medio de su contraste con patrones de lenguaje natural.
El estudio publicado alerta de los riesgos que el uso de estas tres herramientas podría generar para los derechos fundamentales de los ciudadanos, así como de posibles discriminaciones que podrían derivarse para colectivos vulnerables.
En primer lugar, constata algunas carencias generales comunes a las tres herramientas en lo que se refiere a su adecuación al marco jurídico vigente en materia de protección de datos (los derechos de acceso a los mismos o la verificación de ausencia de riesgos requieren de evaluaciones más sistemáticas y profundas que las disponibles). Por otro lado, aprecia déficits aún importantes en la transparencia de estos sistemas, tanto en lo que se refiere a la información que sobre los mismos está a disposición de la ciudadanía en general, como en cuanto a la información concreta respecto de los usos que se dan en cada caso y sus exactas implicaciones y consecuencias, aunque la situación difiere para cada herramienta (siendo RisCanvi la más transparente, y Veripol la más opaca). Adicionalmente, en el marco de la próxima entrada en vigor del Reglamento europeo sobre Inteligencia Artificial (RIA), ha de señalarse que será preciso un mayor esfuerzo en estos dominios, especialmente cuando las exigencias del RIA pasen a ser obligatorias también para las herramientas de IA empleadas por los poderes públicos, y en lo que se refiere a la evaluación de sus efectos sobre los derechos fundamentales.
Respecto de posibles sesgos o discriminaciones, el informe subraya que el problema más grave es la dificultad para estudiar esta importante cuestión de forma sistemática, completa y exhaustiva, debido a la ausencia de datos e información suficiente públicamente accesible que permita una evaluación y contraste externos. Ello no obstante, y subrayando que las conclusiones han de tomarse con cautela al haber tenido que trabajar con información incompleta, el estudio apunta la posible existencia de sesgos que perjudican en ocasiones a algunos colectivos: VioGén parece proteger de forma algo menos eficaz a las mujeres víctimas que son de origen no español y RisCanvi parece ser más severo con colectivos como personas con problemas de salud mental o de adicciones, o personas con una situación socioeconómica muy desfavorable, al asignarles un riesgo de reincidencia violenta más alto que a quienes no se encuentran en estas circunstancias, y más alto también de lo que correspondería de acuerdo con los datos disponibles sobre su reincidencia real. Por otro lado, el informe también cuestiona hasta qué punto puede resultar legítimo, y proporcionado al fin de la prevención de delitos, utilizar información personal muy sensible para estimar riesgos de reincidencia sobre los que se van a apoyar decisiones restrictivas de derechos.
En cuanto a la capacidad predictiva de estas herramientas, la información disponible para hacer una evaluación rigurosa es muy dispar (hay más sobre RisCanvi, mucha menos sobre VioGén, y prácticamente ninguna en el caso de VeriPol), lo que también dificulta el análisis externo. Con los datos disponibles, puede concluirse que en general estos sistemas detectan mejor los casos de riesgo bajo que los de riesgo alto. Pero el informe subraya sobre todo la necesidad de tener en cuenta el fin para el que se va a utilizar la información: un mismo porcentaje de acierto en las predicciones podría considerarse suficientemente bueno para ciertas decisiones, pero no para otras, según cómo de intensa sea la restricción de derechos fundamentales que pretende apoyarse en esa información.
