“The more humans share with me, the more I learn”. Una voce metallica pronuncia questa frase all’inizio del documentario Coded Bias, diretto dalla regista Shalini Kantayya e disponibile su Netflix dal 5 aprile. Queste parole riassumono il messaggio centrale del documentario: gli algoritmi sono distorti soprattutto perché “apprendono” dagli esseri umani. Questo è particolarmente vero per i sistemi di machine learning, quelli che sottintendono al funzionamento dei motori di ricerca, dei social media, degli assistenti vocali e di molti altri strumenti tecnologici che usiamo quotidianamente.

Il documentario si concentra in particolare sulla storia di Joy Buolamwini, diventata celebre per aver scoperto e denunciato che gli algoritmi di riconoscimento facciale di società come IBM, Microsoft e Face++, sono molto meno accurati sui volti delle persone con la pelle scura, in particolare donne, rispetto a quanto non lo fossero per gli uomini, in particolare bianchi.

Buolamwini era all’inizio del suo dottorato all’MIT Media Lab e lavorava a un progetto chiamato Aspire Mirror, uno specchio dove vedere riflessa un’immagine di sé che rappresentasse le proprie speranze e le proprie aspirazioni. Le tecnologie alla base dell’Aspire Mirror erano una telecamera e un software di riconoscimento facciale. Buolamwini si rese presto conto che il sistema funzionava molto bene per i suoi amici bianchi, ma molto peggio quando era il suo volto a essere inquadrato dalla telecamera. Se, però, Buolamwini indossava una maschera bianca, allora il sistema rilevava la presenza di una faccia nell’immagine.

Il motivo era semplice: i database su cui i software vengono allenati contengono molti più volti di maschi bianchi che di altre categorie.

A quel punto, il progetto cambia nome e diventa Gender shades e Buolamwini decide di fondare la Algorithmic Justice League, un gruppo che vuole portare alla luce il fenomeno della discriminazione algoritmica che lei ama chiamare “the coded gaze”, lo sguardo dell’algoritmo, facendo riferimento al “male gaze” che si usa per fare riferimento al modo in cui la cultura patriarcale e maschilista rappresenta le donne e più in generale il mondo partendo da un punto di vista maschile ed eterosessuale.

Il percorso di Buolamwini è influenzato in particolare dall’incontro con Cathy O’Neil, matematica e attivista, autrice del libro “Weapons of Math Destruction”, che avevamo recensito qui. Nel suo libro O’Neil ha denunciato, fra le prime, l’utilizzo sempre più pervasivo degli algoritmi come sistemi di assistenza alla decisione. I casi descritti da O’Neil non sono complessi sistemi di machine learning o reti neurali profonde come quelle che vengono utilizzate nel riconoscimento facciale. Si tratta piuttosto di modelli matematici che, basandosi sui dati storici formulano delle previsioni sul futuro. Il programmatore sceglie un un obiettivo da massimizzare nei futuri previsti da questi modelli, e chiede all’algoritmo quali scelte nel presente sono funzionali al suo scopo.

Non c’è niente di neutrale in questo processo, a differenza di quello che si potrebbe pensare di modelli matematici basati sui dati. Le previsioni fatte dai modelli vengono formulate sulla base dei dati storici, che, esattamente come i database di allenamento dei sistemi di riconoscimento facciale, sono sbilanciati, spesso in favore dei gruppi sociali più privilegiati. L’obiettivo che il programmatore sceglie di massimizzare, poi, è una scelta che incorpora una serie di valori che possono, più o meno consapevolmente, penalizzare le minoranze.

Il documentario è una conversazione tra le persone che stanno portando avanti con maggiore forza questa battaglia, tutte donne. E il messaggio che sembra essere centrale è proprio l’importanza di includere punti di vista molto diversi tra loro. Lo sviluppo dei sistemi automatici di assistenza alla decisione sta avvenendo soprattutto all’interno delle grandi società tecnologiche, che impiegano per la maggioranza uomini bianchi. La rappresentazione di diversi punti di vista è fondamentale perché la tecnologia non provochi danni e non crei una società ancora più disuguale, e il punto di vista femminile è il primo a essere trascurato, insieme a quello dei gruppi etnici che storicamente sono più svantaggiati.

Poche settimane fa, avevamo parlato della vicenda di Timnit Gebru, co-direttrice del gruppo di etica di Google Research, licenziata per via di un articolo scientifico in cui sottolineava i rischi connessi allo sviluppo di modelli statistici di linguaggio basati su database sempre più grandi. Gebru, che ha supervisionato il progetto Gender shades di Buoamwini nel 2018, era una delle poche donne nere assunte da Google Research.

Il documentario si conclude con l’audizione di Buolamwini al Congresso degli Stati Uniti a maggio del 2019 sull’utilizzo delle tecnologie di riconoscimento facciale. Negli Stati Uniti questi sistemi vengono utilizzati regolarmente da diversi corpi di polizia, ma negli ultimi due anni sono stati diverse le città a bandirne l’utilizzo, anche in conseguenza del lavoro di Buolamwini. La strada che viene indicata, dunque, è quella della regolamentazione da parte dello stato perché anche se il modello della sorveglianza di stato attuato dalla Cina sembra lontano, la sorveglianza operata dalle società private può mettere a rischio i diritti e le libertà in modo altrettanto grave.

Per ricevere questo contenuto in anteprima ogni settimana insieme a sei consigli di lettura iscriviti alla newsletter di Scienza in rete curata da Chiara Sabelli (ecco il link per l'iscrizione). Trovi qui il testo completo di questa settimana. Buona lettura, e buon fine settimana!