Pride: le discipline STEM combattono la discriminazione algoritmica

Nella sua lotta contro le discriminazioni, la comunità LGBTQIA+ trova un alleato inatteso: le discipline STEM (Science, Technology, Engineering and Mathematics). A discriminare, oggi, non sono infatti solo le persone, ma anche le intelligenze artificiali, attraverso gli algoritmi che ne governano il funzionamento, spesso al di là e indipendentemente dalla volontà dei loro creatori.

Per l'Equal Pay Day 2019, la metropolitana di Berlino, per esempio, ha deciso di praticare uno sconto del 21% (pari al gender pay gap medio) alle donne, affidando la scelta a un sistema di riconoscimento facciale, poco adatto a distinguere le persone trans, mentre le app collegate agli wearable devices che monitorano esercizio e benessere faticano ad adattarsi agli individui non-binari.

"Le origini della discriminazione algoritmica possono essere tecnicamente molto complesse," dice Luca Trevisan, professore del neonato Dipartimento di Computing Sciences della Bocconi, "ed è perciò difficile discuterne prescindendo dagli aspetti tecnici. Sono le discipline STEM a poter modellare la discriminazione in modo matematico e a poter individuare problematiche e possibili soluzioni." Per affrontare il tema, Trevisan, in collaborazione con EDGE, ha organizzato l'incontro "Fairness in Artificial Intelligence - A mini-workshop on bias and discrimination in AI" (Università Bocconi, 27 giugno), al quale parteciperanno, tra gli altri, studiosi di Harvard, Stanford e Bocconi e che toccherà anche le implicazioni giuridiche del tema. L'incontro costituisce la prima iniziativa del progetto "A+I: Algoritmi + Inclusivi" di EDGE.



In generale, tutti i sistemi di machine learning, che vengono addestrati a prendere decisioni in base a un set di decisioni del passato, rischiano di perpetuare distorsioni implicite e di non funzionare in modo ottimale con le minoranze. È il caso, ad esempio, delle tecnologie di traduzione automatica che, come spiega Dirk Hovy nel pezzo qui sotto, rischiano di far sembrare legittimo solo il modo di parlare di maschi etero di mezza età e stentano a comprendere l'uso dei pronomi moderni, che si stanno sviluppando a denotare identità sessuali non binarie.




Può essere dimostrato che gli stessi modelli linguistici più diffusi e usati, per esempio, da Google per interpretare correttamente le ricerche degli utenti, incorporano sottili e subdole forme di bias a danno della comunità LGBTQIA+ e delle donne.




Se affidiamo a un sistema di intelligenza artificiale la preselezione dei cv dei candidati a un certo posto di lavoro, rischiamo di perpetuare il pregiudizio di genere che potrebbe aver condotto, in passato, ad assumere solo maschi per posizioni manageriali di rilievo. La soluzione immediata ("ma semplicistica," avverte Trevisan) potrebbe essere quella di depurare i cv da ogni riferimento al genere del candidato. "Il genere, però, può essere correlato a molte altre informazioni come, per esempio, il corso universitario frequentato o gli aggettivi scelti per descrivere sé stessi e un sistema di machine learning continuerebbe, con ogni probabilità, a preselezionare soprattutto uomini."

Le cattive prestazioni dei sistemi di riconoscimento facciale rispetto alle minoranze può essere ricondotto a un aspetto tecnico, quello della regolarizzazione. "Nel settaggio di un sistema di machine learning si cerca sempre di raggiungere un certo equilibrio tra complessità del modello e bontà della predizione," spiega Trevisan. "È una sorta di applicazione del principio del Rasoio di Occam, che preferisce una 'spiegazione' dei dati (un modello, o una regola decisionale) più semplice ad una più complicata, anche se quella più semplice è leggermente meno precisa. In questo modo, per tornare al nostro esempio, il rischio è di accontentarsi di un sistema di riconoscimento facciale efficace per quasi tutti i maschi bianchi ma per pochissimi appartenenti a tutte le minoranze poco rappresentate nel set utilizzato per allenare il sistema."

Infine, i modelli di machine learning sono davvero complessi e possono comprendere milioni, se non miliardi di parametri. Quando un modello prende una decisione, fa una predizione o una classificazione, non ne restituisce anche una motivazione. "Per ottenere predizioni 'spiegabili' e diagnosticare da che cosa derivino le decisioni discriminatorie servono competenze STEM molto specialistiche," dice Trevisan.

Anche i migliori propositi possono, infatti, avere effetti paradossali. Gli algoritmi che cercano di individuare l'hate speech online, per esempio, finiscono spesso per classificare come offensive le parole che designano gli obiettivi degli attacchi ("donna" in caso di attacchi misogini o "gay"). Per fortuna, sono possibili alcune soluzioni, come evidenzia Debora Nozza nell'articolo qui sotto.




Gli esempi di discriminazione algoritmica sono ancora relativamente poco frequenti e il rischio è di sottovalutarne la rilevanza. "Ma al ritmo a cui progredisce a tecnologia, presto gli esempi saranno quotidiani," ammonisce Trevisan. "La situazione mi ricorda i temi della privacy negli anni '90. Per un po' sono stati trattati solo in ambito accademico, ma nel giro di pochi anni la problematica è esplosa. In quel caso l'Italia si è dimostrata all'avanguardia, grazie a studiosi come Stefano Rodotà. Speriamo che per la discriminazione algoritmica possa valere lo stesso."




Come nel caso della privacy, spiega il costituzionalista Oreste Pollicino nel pezzo sopra, la legislazione europea mira allora a rafforzare la posizione dell'utente attraverso l'introduzione di obblighi procedurali per le piattaforme, e soprattutto per le cosiddette "very large platforms" che, raccogliendo più dati, hanno anche maggiori possibilità di profilazione.