Il 30 dicembre il tribunale di Bologna ha emesso un'ordinanza, firmata dalla giudice Chiara Zompì, che definisce discriminatorio l'algoritmo utilizzato da Deliveroo, piattaforma di consegna del cibo a domicilio, per gestire le prenotazioni delle sessioni di lavoro da parte dei rider, condannando l'azienda a pagare 50 000 euro di risarcimento alle organizzazioni sindacali che hanno fatto ricorso oltre a sostenere le spese legali (il testo dell'ordinanza è consultabile qui).

«È probabilmente il primo caso in cui un algoritmo viene chiamato a comparire in tribunale e ritenuto illegittimo in Europa nel rapporto tra privato e privato», commenta Mario Guglielmetti, legale presso lo European Data Protection Supervisor (EDPS), l'autorità europea indipendente per la protezione dei dati personali. E aggiunge «esistono diversi precedenti riguardanti algoritmi utilizzati da soggetti pubblici, come ad esempio il sistema SiRy che stimava la probabilità dei cittadini olandesi di commettere frode ai danni dello Stato, sospeso a febbraio dalla corte distrettuale dell'Aia perché accusato di violare i diritti umani. Il pronunciamento del tribunale di Bologna è il primo in cui un sistema automatico viene considerato illegittimo nel rapporto tra due soggetti privati, come sono da considerarsi Deliveroo e i riders, che l'azienda inquadra come collaboratori autonomi»¹.

L'algoritmo su cui si è espressa la giudice Zompì è quello che stabilisce le priorità di accesso al sistema di prenotazione delle sessioni di lavoro. Il funzionamento di questo algoritmo non è chiaro e durante il procedimento è stato ricostruito solo grazie alle testimonianze di alcuni fra i ciclofattorini che si sono rivolti alle associazioni sindacali per ricorrere contro l'azienda. Deliveroo non ha infatti fornito alcun dettaglio a riguardo. «Questo rende particolarmente significativa questa ordinanza: l'opacità dei sistemi automatici di assistenza alla decisione non è più sufficiente a proteggere le aziende e sollevarle dalle loro responsabilità nei confronti dei lavoratori», afferma Massimo Durante, professore associato all'Università di Torino, filosofo del diritto ed esperto di governance algoritmica (il suo ultimo libro in italiano è 'Potere computazionale', edito da Meltemi).

Ma come funziona l'algoritmo in questione e in che modo è discriminatorio? Si tratta del sistema che assegna le priorità di accesso al "self-service booking", la prenotazione delle sessioni di lavoro settimanali. Ogni lunedì i rider iscritti alla piattaforma hanno la possibilità di prenotare le sessioni di lavoro della settimana. Ma non lo fanno tutti nello stesso momento. Coloro che hanno un punteggio reputazionale maggiore, infatti, possono accedere alla prenotazione dalle 11 del lunedì. Chi è in posizione intermedia vi accederà dalle 15, i rider che occupano i posti più bassi della classifica solo dalle 17 in poi. Chi accede più tardi ha meno possibilità di scelta. Secondo uno dei testimoni accedendo alle 11 si possono prenotare fino a 40 ore settimanali, alle 15 ci si assicura tra le 13 e le 17 ore settimanali, mentre alle 17 le sessioni settimanali ancora disponibili superano difficilmente le due ore. Le prime sessioni a essere prenotate sono quelle del weekend, in cui il numero di consegne è sensibilmente più alto e dunque le possibilità di guadagno maggiori. Molto, insomma, dipende dal punteggio reputazionale che, nella ricostruzione del procedimento, viene stabilito dall'algoritmo in base a due indici: affidabilità e partecipazione. L'affidabilità decresce quando il lavoratore non esegue l'accesso alla piattaforma entro i primi 15 minuti dall'inizio della sessione di lavoro localizzandosi nell'area per cui ha dato disponibilità a eseguire il servizio di consegna, tranne nel caso in cui l'abbia cancellata almeno 24 ore prima. La partecipazione invece aumenta con il numero di sessioni di lavoro in cui il rider ha prestato il suo servizio durante i periodi di picco, dalle 20 alle 22 di venerdì, sabato e domenica. Se un rider non cancella la sua prenotazione con sufficiente anticipo per via di uno sciopero a cui vuole prendere parte o per motivi di salute o di cura dei figli minori, l'algoritmo comunque lo giudicherà meno affidabile e lo farà scendere nella classifica reputazionale mettendo a rischio la sua priorità di accesso alle prenotazioni. In sostanza l'algoritmo tratta in maniera uguale tutte le cancellazioni avvenute troppo tardi, considerando cioè irrilevanti i motivi della mancata partecipazione alla sessione prenotata. In questo consiste, secondo la giudice, la discriminazione indiretta, un comportamento che a causa della sua uniformità riserva un trattamento ingiusto a un determinato gruppo di soggetti (in questo caso i lavoratori che legittimamente desiderano partecipare a uno sciopero o che hanno problemi di salute che gli impediscono di rispettare l'impegno preso).

La giudice ha sottolineato che l'algoritmo è in grado di contemplare delle eccezioni, nel caso in cui si verifichi un incidente nel turno precedente a quello a cui il rider non partecipa o nel caso in cui la piattaforma che gestisce i rider si blocchi e diventi inaccessibile. In queste due circostanze infatti la mancata partecipazione del lavoratore alla sessione prenotata non viene considerata ai fini del calcolo delle statistiche reputazionali. Sarebbe, dunque, bastata la volontà da parte dell'azienda di tenere in considerazione il diritto allo sciopero, diritto costituzionalmente garantito, per adeguare di conseguenza l'algoritmo. L'ordinanza potrebbe avere rilevanza nazionale, visto che il sistema con cui Deliveroo ha gestito le priorità di accesso alle prenotazioni da parte dei rider è stato in uso su tutto il territorio nazionale.

«L'altro elemento estremamente interessante di questa sentenza è che inverte, seppur parzialmente, l'onere della prova nell'ambito di un giudizio antidiscriminatorio che si applica al funzionamento di un algoritmo», commenta ancora Durante, «la giudice ha infatti accettato le testimonianze delle parti ricorrenti a prova degli effetti discriminatori dell'algoritmo sui lavoratori chiedendo all'azienda di provare l'insussistenza della discriminazione». Deliveroo, dal canto suo, non ha fornito a riguardo alcun dettaglio, a parte dichiarare che il sistema non è più utilizzato dal 2 novembre 2020 e che anche prima di quella data i rider hanno sempre avuto un'alternativa alla prenotazione, quella del cosiddetto free login. «L'azienda ha accettato la ricostruzione del funzionamento del sistema automatizzato emersa in corso di causa, piuttosto che dimostrare il contrario svelando la cosiddetta black box della intelligenza artificiale utilizzata»commenta ancora Guglielmetti, «questo ha impedito di condurre un vero audit tecnologico sull'algoritmo», conclude.

Non sappiamo infatti se l'algoritmo sia un sistema di machine learning, i cui risultati cambiano a seconda della base di dati su cui vengono allenati e i cui effetti possono essere difficili da valutare a priori, o piuttosto si tratti di un più semplice software pre-programmato secondo un sistema di regole scelte dall'azienda per massimizzare i suoi obiettivi di profitto e di cui è molto più semplice prevedere i difetti e i limiti. Ma è ormai sempre più evidente che anche sistemi molto semplici possono generare discriminazione e ingiustizia.

Ne è un esempio recente il caso dell'algoritmo utilizzato per la pianificazione delle campagne vaccinali contro COVID-19 all'ospedale di Stanford. A metà dicembre un centinaio di medici, dipendenti dell'ospedale, hanno manifestato davanti agli ambulatori dove venivano effettuate le prime vaccinazioni. Solo 7 degli oltre 1300 medici della struttura erano stati inclusi nella somministrazioni delle prime 5000 dosi. La decisione era stata presa in base ai risultati di un algoritmo che considerava una serie di variabili per ciascun dipendente, tra cui l'età e il livello di esposizione al contagio. Evidentemente, però, l'algoritmo faceva male il suo lavoro, visto che aveva escluso gran parte del personale sanitario che da mesi è impegnato in prima linea nel contrastare l'epidemia. Come approfondito più avanti da MIT Technology Review, l'errore è stato non rivedere i risultati che l'algoritmo produceva quando riceveva come input i dati relativi ai dipendenti di quell'ospedale. Il problema, insomma, non è usare una procedura automatizzata ma piuttosto non essere disposti a rivederne il funzionamento anche di fronte all'evidenza che questa sia difettosa.

L'ordinanza del tribunale di Bologna è importante anche dal punto di vista del diritto del lavoro. In un intervento sulla rivista Il Mulino, Antonio Aloisi e Valerio de Stefano, autori del volume 'Il mio capo è un algoritmo. Contro il lavoro disumano' edito da Laterza, notano come autonomia e indipendenza dei lavoratori delle piattaforme digitali siano di fatto virtuali e che questo sia stato ormai riconosciuto da diversi tribunali in Europa (tra gli ultimi esempi la sentenza del tribunale di Palermo del novembre 2020 che ha imposto a Glovo di assumere a tempo indeterminato uno dei suoi ciclofattorini). La giudice Zompì, sottolineano i due giuristi, si è però concentrata su un altro aspetto, quello della responsabilità dell'azienda riguardo le decisioni prese automaticamente sulla base di valutazioni statistiche. In altre parole la corte è andata oltre il formalismo dell'inquadramento del rapporto di lavoro e ha affermato un principio: è ora di guardare dentro alle scatole nere degli algoritmi e correggerne i difetti se non si vuole incorrere in giudizi come quello di Bologna. Nell'affermare questo principio si comunica anche un altro concetto centrale al problema della governance algoritmica: i sistemi automatici non sono né neutri, né oggettivi. Come ha scritto la giornalista Cathy O'Neil nel suo libro 'Weapons of Math Destruction': «i modelli non sono altro che opinioni scritte nel linguaggio della matematica».

L'obbligo alla trasparenza e alla conoscibilità dei sistemi automatici di assistenza alla decisione è stabilito anche dagli articoli 14 e 22 del Regolamento europeo sulla protezione dei dati personali (GDPR), entrato in vigore nel 2018. L'ordinanza di Bologna non vi fa riferimento, probabilmente perché la questione non viene invocata dalle parti ricorrenti, cioè le organizzazioni sindacali. Esistono però altre cause in corso che si appellano proprio al GDPR, come quella intentata contro Uber dal sindacato britannico App Drivers & Couriers Union, per conto di un migliaio di autisti che si sono visti disattivare gli account ingiustificatamente. In questo caso i ricorrenti sostengono che un sistema automatico ha preso una decisione rilevante per la loro vita, li ha licenziati, fatto considerato illegittimo proprio dall'articolo 22 del GDPR.
 

Note

1. Guglielmetti non conosce i dettagli del procedimento e ha espresso le sue valutazioni a titolo personale e non in qualità di dipendente dello EDPS.

Per ricevere questo contenuto in anteprima ogni settimana insieme a sei consigli di lettura iscriviti alla newsletter di Scienza in rete curata da Chiara Sabelli (ecco il link per l'iscrizione). Trovi qui il testo completo di questa settimana. Buona lettura, e buon fine settimana!