Policía
Policía predictiva: cuando el que decide es un algoritmo

El uso de la inteligencia artificial en la gestión de la seguridad refuerza los sesgos racistas y clasistas que operan en los cuerpos de policía
Oracle represión china

Luis y Leonor, 'vecinos de toda la vida' en el madrileño Orcasitas, creen que hay 'muy poca policía' en su barrio y afirman que si su presencia se incrementara, crecería la 'sensación de seguridad' en las calles. Mientras que Diego, vecino joven del mismo barrio, me asegura con naturalidad, mientras empuja el carrito de su bebé, conocer bien a todos los policías que patrullan en la zona, pues 'todas las semanas' en algún u otro momento es sometido a un 'control rutinario'. Tampoco él tiene ninguna mala palabra para la policía pero considera que su presencia es ya 'más que suficiente'.

Si desde la perspectiva ciudadana resulta difícil esclarecer si hay mucho o poco trabajo policial en las calles, no es aventurado suponer que los propios cuerpos de policía también adolecen de tales discrepancias. Frente a ello, son numerosos los cuerpos que en la actualidad mediante datos, referencias espacio-temporales e inteligencia artificial (IA) aspiran a anticiparse al crimen y, así, optimizar sus recursos.

No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial

El patrullaje es un ámbito policial especialmente visible y su tendencia hacia la gestión algorítmica es tan solo un síntoma de un cambio mucho más sustancial. Si la policía ha actuado históricamente de modo reactivo, explica en una conversación Santiago Ruiz Chasco, profesor de sociología en la Universidad Pablo de Olavide, debemos constatar que se ha producido un 'giro preventivo'. No responder, sino 'anticiparse a que se produzcan los hechos', parece ser el actual adagio policial.

Soluciones tecnológicas a problemas sociales

El paradigma preventivo incluye frentes tan diversos como el propio planeamiento urbano —buena iluminación, espacios abiertos, arquitectura hostil para los sintecho o los que deseen reunirse en la calle, la disuasión mediante cámaras de seguridad—, hasta la persecución de hechos no recogidos en el código penal —ruido, consumo de alcohol y drogas, personas sin papeles— pero considerados como precursores de actos criminales. A estas prácticas largamente implementadas debemos añadir un creciente entusiasmo tecno-solucionista: los problemas de seguridad son vistos como fallos de un sistema necesitado de optimizaciones.

Tecnología
Minority Report en las policías europeas: llegan los sistemas de predicción de delitos

La comisaria europea de Derechos Humanos alerta del uso de algoritmos en sistemas policiales y judiciales de la Unión que atentan contra los derechos ciudadanos.

Los cuerpos de policía españoles ya emplean diversas herramientas predictivas basadas en la inteligencia artificial. Así por ejemplo, el sistema VioGén, donde se recogen y administran las denuncias por violencia de género, incluye desde 2019 predicciones proporcionadas por dos algoritmos: uno estima el riesgo de reincidencia y otro el riesgo de que los hechos denunciados puedan terminar en feminicidio.

La escala de riesgo mortal se ha creado mediante una muestra de 2.159 casos de violencia de género, de los cuales el 7,4 % fueron homicidios. Según el nivel de riesgo calculado por los algoritmos, el protocolo indica las medidas a seguir en protección policial. Pero hasta la fecha las autoridades no han permitido ninguna evaluación independiente del sistema. Un estudio realizado por la Fundación Éticas mediante entrevistas a mujeres que presentaron denuncias por violencia de género revela, sin embargo, entre otros problemas, que VioGén subestima la violencia no física y por ello, presumiblemente, no aprecia el riesgo real en muchos casos.

Asimismo sin control ni auditorías externas, la Policía Nacional dispone desde 2018 en todas sus comisarías de VeriPol, cuya función es determinar la veracidad de las denuncias por robo. Este 'polígrafo' analiza el lenguaje utilizado en la descripción proporcionada por el denunciante. Una denuncia falsa tiende a basarse más en los objetos sustraídos y su valor eludiendo los detalles de los hechos supuestamente acaecidos.

Además, el modus operandi del delito así como la morfosintaxis de la descripción difieren entre una denuncia falsa y una verdadera, según explica el Ministerio del Interior en una nota. Impulsado por el inspector de la Policía Nacional y matemático Miguel Camacho Collados, un algoritmo entrenado con 1.122 denuncias por robo definió estos patrones. Tras constatar una 'precisión superior al 90%' en su fase piloto en Murcia y Málaga se decidió implantar el sistema en todo el territorio.

El entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos

La alta eficacia de VeriPol ha sido cuestionada, sin embargo, por numerosos expertos que, además, señalan los problemas éticos innatos a la herramienta. Un fallo patente, según explica AlgorithmWatch, es que el algoritmo tiende a magnificar el valor de cualquier coincidencia. Así, por ejemplo, el uso de la palabra 'navaja' puede ser suficiente para que una denuncia sea considerada falsa. Además, el entrenamiento del algoritmo no tuvo en consideración las variedades (socio)lingüísticas, pudiendo así desfavorecer, por ejemplo, a los hablantes no-nativos. Pero a pesar de su cuestionamiento, así como de la fría acogida por parte del propio cuerpo de policía, el Ministerio del Interior desea ampliar la tecnología a otros tipos de crimen.

El nombre de Miguel Camacho también se encuentra detrás de la aplicación desarrollada en 2015 para la Policía Nacional que predice la incidencia de delitos. En base a 'patrones de criminalidad espacio-temporales', la herramienta realiza un pronóstico gracias al cual la policía puede optimizar la distribución de las patrullas disponibles. La virtud de la herramienta, según sus creadores, es que define hot spots: puntos calientes donde la policía debe concentrar sus recursos.

Tanto Camacho, que alega 'mantener un perfil muy bajo', como el Ministerio del Interior han declinado aclarar el destino del programa de patrullaje predictivo. Una tecnología equivalente es asimismo ofrecida por la empresa EuroCop en sus sistemas de gestión para policía municipal. Según la propia empresa, EuroCop presta sus servicios a más de 50 municipios españoles, entre los cuales, de acuerdo con contratos públicos consultables, se encuentran ciudades como Leganés, Alcorcón o Zamora.

Ni la empresa ni los dichos ayuntamientos han querido esclarecer si los cuerpos hacen uso de herramientas de predicción. Pero en una respuesta por email, EuroCop sí hace hincapié en el diseño de su sistema para aunar cuanta información esté disponible —'multas, atestados, videovigilancia...'— y así lograr una mayor eficiencia en la gestión de los recursos policiales.

La eficiencia por encima de los derechos

Más que cualquier objetivo social, es la eficiencia el motivo al que tanto las administraciones como los creadores de los sistemas aluden una y otra vez. Así, por ejemplo, en un documento interno del Ayuntamiento de Madrid donde se anuncia el desarrollo de aplicaciones para gestionar los recursos policiales, el autor se lamenta del retraso que la administración lleva respecto al mundo empresarial en la 'optimización de los procesos y riesgos'. Pero anteponiendo la economía de sus medios a la repercusión social de sus acciones, los cuerpos de policía incurren en una peligrosa deriva sobre la que los expertos advierten y ante la cual los legisladores pueden tener la última palabra.

No solo debemos considerar la 'proporcionalidad y necesidad' de estas tecnologías desde un punto de vista jurídico, señala Ramón Suárez, investigador en el Observatorio de Bioética y Derecho de la Universidad de Barcelona, sino que debemos ante todo 'reflexionar sobre qué tipo de sociedad estamos construyendo y si realmente estamos creando un ambiente propicio para la inteligencia artificial'. Suárez cuestiona la eficacia de herramientas como VioGén y VeriPol y denuncia su opacidad y falta de control externo. Su preocupación es que si el estado confía el cuidado de asuntos de orden y seguridad a algoritmos que a su vez carecen de vigilancia, decaigamos en una 'pseudo-seguridad' donde 'la libertad, la igualdad y el libre desarrollo de la personalidad' se vean vulnerados.

Videovigilancia en China
Las empresas chinas lideran la distribución de herramientas de inteligencia artificial alrededor del mundo.

El Parlamento Europeo sentó, sin embargo, en otoño del año pasado un importante precedente al aprobar una resolución donde se exponen los riesgos de la inteligencia artificial en el ámbito penal y policial demandando amplias garantías para su uso. El texto no es vinculante, pero debe tenerse en cuenta para la llamada Artificial Intelligence Act, la regulación que se negocia en estos momentos y que busca crear un marco legal común para la Unión Europea en asuntos de IA.

El texto de la resolución parte de la premisa que la IA nunca debe 'considerarse un fin en sí misma, sino un instrumento al servicio de las personas'. Asimismo se recuerda que 'las promesas de que la IA daría lugar a decisiones más objetivas [...] no siempre se cumplen'. En cuanto al uso de herramientas predictivas por parte de la policía, tales como VioGén y el patrullaje predictivo, el texto advierte de que éstas 'pueden tener grados enormemente variables de fiabilidad y precisión y de repercusión en la protección de los derechos fundamentales'. Entre los principales riesgos de estos sistemas, el texto señala la 'amplificación y reproducción de sesgos existentes' así como le tendencia a que 'errores inherentes en el algoritmo' se vean 'reforzados por bucles de retroalimentación'.

Ante las incertidumbres que la IA acarrea, la resolución insta a que las garantías legales prevalezcan y no se sacrifiquen en aras de una securización tecnológica. Así, pues, el texto exige que toda 'herramienta de IA desarrollada o utilizada por las autoridades policiales o judiciales deba, como mínimo, ser segura, robusta, fiable' y someterse a los principios de 'minimización de datos, rendición de cuentas, transparencia, no discriminación y explicabilidad'.

Es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado

Sin embargo, la búsqueda de eficiencia policial, la ingenua creencia en la fiabilidad de la IA que las autoridades adoptan, en combinación con la opacidad y falta de control que caracterizan los asuntos de seguridad, conllevan a que la realidad de las herramientas policiales de IA hasta la fecha haya transcurrido en claro conflicto con las garantías aquí demandadas.

En España, una proposición no de ley presentada por Unidas Podemos y aprobada en el Congreso en noviembre del año pasado, insta al Gobierno, en línea con la legislación europea en desarrollo, a establecer una normativa que garantice la proporcionalidad, la transparencia y el control de las herramientas policiales de IA. Pero a pesar de las intenciones garantistas que han mostrado los parlamentos, no hay certeza de que éstas prosperen. Pues es en los asuntos de seguridad donde más a menudo se manifiesta la impotencia de la ley frente al estado.

La denuncia de los abusos de la gestión algorítmica de la seguridad

Tristemente, no son el control y la primacía del derecho lo que generalmente frenan a las herramientas de vigilancia, sino el cúmulo de abusos y arbitrariedades que junto a la indignación pública lleva a ciertos gobiernos a abandonarlas. Así, la policía de Los Ángeles, una de las ciudades pioneras en implementar el patrullaje predictivo, prescindió en 2020 del sistema Pred-Pol, cuyo uso está ampliamente extendido en los departamentos de policía estadounidenses. Su nula eficacia a la hora de disminuir la criminalidad, además del perfilado racial en que incurre, ha sido repetidamente denunciado. Activistas y expertos coinciden en que son las minorías latinas y afroamericanas las que más sufren el señalamiento de las herramientas que buscan predecir el crimen.

Inteligencia artificial
Algoritmos y violencia estructural Mirando a la inteligencia artificial desde el otro lado
¿Qué ocurre si miramos a la tecnología desde el otro lado, es decir, desde el punto de vista de las personas marginadas por la sociedad?

Pero es en Europa donde se ha producido uno de los atropellos más sangrantes de los que tenemos constancia. En los Países Bajos se empleó hasta 2019 un algoritmo que debía predecir el riesgo de fraude fiscal. Mediante factores que incluían el nivel de ingresos o el origen étnico, el algoritmo aprendió a identificar a familias con 'ingresos bajos' o de 'origen no-occidental' como potenciales defraudores del programa de ayudas para guardería. Así se estima que más de 26.000 familias fueron injustamente señaladas y sometidas a la maquinaria de hacienda mediante multas y embargos que en la mayoría de los casos las sumió en la ruina.

Además, debido a la situación de precariedad resultante, el estado retiró la custodia a 1150 niños de estas familias, los cuáles todavía no han sido reunidos con sus padres. La magnitud de esta injusticia se ha visto acrecentada si cabe por el hecho de que hasta que gracias a esfuerzos particulares se reveló el entramado, los afectados nunca entendieron por qué se les perseguía. Fue la crueldad de un algoritmo invisible bajo la cínica connivencia de los gobernantes la que posibilitó todo este daño.

Transparencia, control y evaluación independientes son condiciones necesarias para proteger a los ciudadanos del poder y arbitrariedades de la IA. Pero Ramón Suárez advierte de que ante todo debemos evitar su 'generalización' y exigir que el uso de estas herramientas sea 'puntual y subsidiario a la acción humana', la cual debe prevalecer en el ámbito penal y de seguridad.

Policía
Los ecos de ‘Defund the Police’ ¿Reforma o decrecimiento policial?
La campaña ‘Defund the Police’ cuestiona las reformas policiales e interpela a los movimientos por la justicia social en España.

Asimismo, debemos observar la realidad de fondo y preguntarnos si la respuesta policial es la más adecuada en todo caso. Santiago Ruiz señala que mientras 'se ha ido reduciendo el número de trabajadores sociales' la labor de éstos 'se ha ido sustituyendo por la policía'. Así se da una respuesta 'unidimensional' a una realidad 'multidimensional y compleja'. Problemas cuyo origen reside en la desigualdad, la discriminación o la salud son encarados como cuestiones de seguridad recibiendo una respuesta punitiva. Pero la historia nos muestra que la persecución y el castigo nunca han acabado con estos problemas sino que acaso los han recrudecido favoreciendo, asimismo, el clima social propicio para el auge de la extrema derecha.

Sobre este blog
Metropolice pretende ser un pequeño medio de difusión de problemáticas asociadas a los dispositivos de control policial, el securitarismo y las instituciones carcelarias.
Ver todas las entradas
Informar de un error
Es necesario tener cuenta y acceder a ella para poder hacer envíos. Regístrate. Entra en tu cuenta.

Relacionadas

Euskal Herria
Videovigilancia Lo que ocultan las cámaras de vigilancia de Gasteiz
Como está sucediendo en otras ciudades, se pretenden instalar en la ciudad más dispositivos de vigilancia sin informar de sus verdaderas características, y lo que es más grave, de las razones reales para su implantación y a quién benefician.
Policía
Policías Así impone el relato policial el alcalde de Bilbao: alarma, falsedades y medias verdades
Aburto ha tergiversado el relato de la seguridad de la ciudad contra la evidencia, los datos y los expertos. Analizamos el discurso securitario alrededor de Aste Nagusia y nos preguntamos: ¿Es posible desmontar el aparato policial?
Feminismos
El feminismo será antipunitivo o no será
La aprobación de la llamada ley del 'solo sí es sí' ha sacado a la luz el debate sobre las alianzas entre cierto feminismo y el punitivismo
Sobre este blog
Metropolice pretende ser un pequeño medio de difusión de problemáticas asociadas a los dispositivos de control policial, el securitarismo y las instituciones carcelarias.
Ver todas las entradas
Genocidio
Ayman Qwaider “A la gente se le pide una cantidad excesiva de dinero para poder salir de este campo de exterminio de Gaza”
Profesor especializado en educación en emergencia y educación inclusiva, Ayman Qwaider vive en Australia. Desde allí, intenta ayudar a su familia a salir de Gaza, mientras denuncia la ocupación israelí y la complicidad de la comunidad internacional.
Ocupación israelí
Opinión Las palestinas también existen
La morbilidad femenina, el conjunto de enfermedades, factores de riesgo y motivos de consulta recurrentes en las mujeres que merecen una atención específica, tiene múltiples ejes de discriminación: no es lo mismo en Suecia que en Palestina.
Palestina
Palestina Viaje al fondo del horror
El fotoperiodista Javier Bauluz cubrió la primera Intifada, la primera gran rebelión del pueblo palestino desde la creación del estado israelí.
Economía
En primera persona Instrucciones por si encuentras muerta a tu suegra
Todo el que está en el mundillo sabe que el sector funerario vive casi un duopolio de facto y lo máximo que se está dispuesto a hacer es poner una multa de vez en cuando. Cuando alguien llama a una, ni se imagina al entramado que está llamando.
Educación pública
Iglesia Semana Santa: negocios, procesiones en colegios, inmatriculaciones y fervor
Más allá de la expresión cultural, la Semana Santa tiene una esfera económica que genera millones de euros y otra social que le sirve a la Iglesia Católica para legitimar sus privilegios dentro del Estado español.
Venga, circula
Venga, circula Un paso, luego otro
Llega un día en el que vemos con claridad algo que solíamos observar en los demás pero que nunca —prometíamos— nos sucedería a nosotros.
Sexualidad
Consultorio de sexualidad ¿Qué tengo si me diagnostican Síndrome de Ovario Poliquístico?
Afecta a entre un 7 y un 13% de las mujeres en edad reproductiva, y el 70% están sin diagnosticar. Pero, ¿qué es el SOP y como podemos apaciguar sus síntomas?

Últimas

Ocupación israelí
Palestina El Salto te ofrece una camiseta para apoyar económicamente a la UNRWA
No cesamos de buscar nuevas vías para visibilizar un mayoritario clamor social que pide un alto el fuego al que apenas se da cabida en el discurso mediático convencional. Todos los beneficios de esta campaña irán destinados a la UNRWA.
Maternidad
Maternidades Reaprender la espera
El tiempo de gestación es largo y va a un ritmo distinto al que acostumbras: el ritmo natural al que desarrolla una playa, un monte, un océano. Y no estamos ya habituados a darle la mano a la pausa.
Momus Operandi
Momus operandi Todo es una narración
Nos dicen que las mentiras son la única realidad. Que aprendamos a mentirnos, que nos engañemos, que no nos importa la salud, ni los derechos laborales, ni las violencias estructurales.
Derecho a la vivienda
Derecho a la vivienda La PAH València clama por el derecho a una vivienda digna: “¿Duermen tranquilos?”
Centenares de personas protestan frente al palacio de la Generalitat para exigir que se haga efectivo el derecho a la vivienda ante la insoportable alza de los precios.
Sidecar
Sidecar Crisis intratable en la República Democrática del Congo
Una y otra vez los actores externos han fracasado a la hora de contener la escalada de violencia en la República Democrática del Congo.
Más noticias
Accidentes laborales
Accidentes laborales Detenidos tres empresarios en Galicia tras la muerte de un migrante que trabajaba sin equipo de protección
El joven de 28 años, que estaba empleado con un contrato irregular, falleció el 26 de febrero tras precipitarse desde una carretilla elevadora sin la protección necesaria para esa labor.
Deportes
Rugby femenino +35 Las Milnoh Granada, un club de rugby femenino +35 creado y gestionado por mujeres
32 mujeres nacidas en mil novecientos y pico, federadas en un equipo que les ha dado un espacio propio, sentido de pertenencia, una tribu donde “yo soy porque somos”

Recomendadas

Argentina
Argentina Myriam Bregman: “El de Milei es un típico gobierno neoliberal con recetas ortodoxas clásicas”
Quien fuera candidata de la izquierda a la presidencia en las elecciones en las que Milei salió victorioso, evalúa las consecuencias del gobierno de La Libertad Avanza y las respuestas que están dando los distintos actores políticos.
Ríos
Radiografía fluvial de España La tierra que no amaba sus ríos
Los ríos ibéricos agonizan. Casi la mitad de las masas de agua está en mal estado. Presas, sobreexplotación, contaminación y crisis climática son sus principales amenazas, con la agroindustria como mayor agresora.
Memoria histórica
Marc Solanes “Mi bisabuela luchó en el frente y fue considerada una mala madre, pero lo hizo por sus hijas”
En ‘Las niñas de Elna’ (Pollen, 2024) el periodista reconstruye la historia de las mujeres de su familia resolviendo enigmas para resignificar la imagen de la mujer en la historia.
Euskal Herria
Korrika Correr a favor del euskera cruzando fronteras
La Korrika es el mayor evento de Euskal Herria. En la última edición de esta carrera de más de 2.500 kilómetros ha participado un tercio de la población vasca.