In Spagna 250 donne uccise dall’IA: il flop di Viogen

In Spagna sta facendo discutere VioGén, il software che assiste le forze di polizia nel valutare i casi di violenza domestica, introdotto nel 2007. Già perché a 27 anni dalla sua introduzione, sono già ben 250 le donne uccise dal proprio partner poiché il sistema basato sull’Intelligenza artificiale aveva valutato come basso il rischio che ciò accadesse.

L’ultima vittima è stata Juliana Denise Vinuesa, trentunenne, che aveva denunciato gli abusi a novembre. Otto mesi più tardi, il suo compagno l’ha uccisa. Anche Eva Jaular si era rivolta alla polizia spagnola. E, come loro, anche Luz, che era tornata ripetutamente a denunciare il suo aguzzino.

Ne ha parlato anche il celebrato New York Times, sebbene abbia sottostimato i dati, parlando di oltre la metà dei casi di 98 donne uccise dai propri partner dopo aver denunciato gli abusi.

Come funziona VioGen

Come riporta Corriere della sera al momento della denuncia, la polizia le aveva chiesto di compilare un questionario con 35 domande, tra cui:

Ha usato un’arma?

Ci sono dei problemi economici in casa?

VioGén, dopo aver valutato le riposte, aveva valutato un «rischio basso» che capitasse un nuovo atto di violenza. Senza rivedere la decisione dell’algoritmo, gli agenti hanno lasciato che la donna tornasse a casa senza nessuna forma di protezione. Meno di due mesi più tardi, però, i fatti hanno tragicamente smentito la decisione di VioGén.

Come spiega Diletta Huyskes, responsabile del dipartimento Advocacy & Policy di Privacy Network, co-fondatrice di Immanence, un’azienda che affianca le organizzazioni pubbliche e private per sviluppare IA etiche e autrice di “Tecnologia della rivoluzione” (edito da Il Saggiatore):

Il rischio principale è quello di affidarsi acriticamente alla raccomandazione di un software senza che ci sia un essere umano a vagliare quella risposta. Ed è quello che continua ad accadere con VioGén

Nel caso di VioGén, oltre il 95% degli agenti di polizia spagnoli accettano l’output del software senza rivedere la raccomandazione. Una decisione delicata che un numero consistente di forze dell’ordine iberiche ha rimesso nelle mani della tecnologia, senza alcuna forma di supervisione.

Come invece spiega Silvia Semenzin, sociologa all’Università Complutense di Madrid ed esperta in violenza di genere digitale e tecnologica:

Lasciare in mano a questi algoritmi predizioni del genere senza l’intervento umano è molto rischioso. Automatizzare non significa sempre migliorare, non sono sinonimi

Facciamo fatica a capire che gli algoritmi hanno un grande potere e al tempo stesso un grande margine di errore. Si basano su dati che a loro volta sono basati su dei bias

Questi ultimi sono pregiudizi che nascono a partire dall’addestramento (umano) delle intelligenze artificiali. Un bias che si traduce in una sottovalutazione del rischio quando le donne non hanno dei figli. E il pericolo viene sottostimato anche quando la donna non risponde a una o più domande, magari presa da timori o reticenze che sono frutto della violenza stessa. Un ostacolo che potrebbe essere aggirato con una valutazione fatta da un esperto (umano).

Altri esempi di sicurezza affidata all’IA

La tecnologia viene sempre più usata per predire e quindi stroncare sul nascere, comportamenti violenti e illegali.

A Londra, alla fermata della metropolitana di Willesden Green, è stato sperimentato, a insaputa dei passeggeri, un sistema di riconoscimento di «comportamenti sospetti» o pericolosi. In quel caso, il comportamento più dannoso era quello di segnalare i bambini al seguito dei genitori che passano dai tornelli come «evasori del biglietto».

Il software di riconoscimento facciale installato già nel 2012 nella catena di farmacie americane Rite Aid, per 8 anni consecutivi aveva inviato numerosi falsi positivi ai commessi delle farmacie, indicando come taccheggiatori persone che non si erano macchiate di nessun crimine.

Obbedendo agli “ordini” della macchina, i commessi hanno perquisito e cacciato alcuni dei clienti, arrivando talvolta a chiamare la polizia prima ancora che fosse veramente successo qualcosa. Il sistema tendeva sempre a segnalare uomini neri, asiatici o ispanici. Evidentemente era stato impostato per puntare soprattutto a questi, un pregiudizio razziale trasferito alla macchina.

Anche in Italia la Polizia vorrebbe utilizzare qualcosa di simile: il sistema basato sugli algoritmi si chiamerebbe Giove, ma, dopo l’annuncio avvenuto ormai anni fa, non se n’è saputo più niente.

L’Ue vieta i sistemi di polizia predittiva, ma Viogen è salvo

Lo scorso maggio, l’AI Act ha ricevuto l’ultima approvazione necessaria da parte del Parlamento europeo per cominciare l’iter di applicazione nei Paesi membri. La legge europea non solo definisce diversi livelli di rischio delle intelligenze artificiali, ma stabilisce anche una regola ben precisa: i sistemi di polizia predittiva saranno vietati nell’Unione europea.

La legge europea sembra più interessarsi a evitare i casi di discriminazione verso determinati gruppi etnici, generi, ecc.

Tuttavia, ha una grossa lacuna: non menziona minimamente gli algoritmi che prevedono le aree a rischio o di valutare le probabilità di diventare vittima di un crimine. Dunque sistemi fallaci come Viogén potranno continuare a funzionare tranquillamente. Nonostante le tante donne già uccise a causa sua.

Ricevi le news su Telegram iscrivendoti al canale dal bottone seguente: