Gli algoritmi valgono quanto cio' di cui li alimentiamo

Gli algoritmi sono arrivati a governare aspetti molto delicati della nostra vita, ma non sempre ci trattano in modo equo. Potrebbero non capirci o addirittura lavorare contro di noi, secondo gli ospiti del terzo episodio della serie podcast Clarity in a Messy World, Dirk Hovy, professore associato di Computer Science al Dipartimento di Marketing della Bocconi, e Debora Nozza, post-doctoral researcher presso l'unità di ricerca Data and Marketing Insights della Bocconi.

Se noi siamo ciò che mangiamo, gli algoritmi valgono quanto ciò di cui li alimentiamo. Per addestrare un algoritmo basato sul machine learning, lo si alimenta con grandi quantità di dati e lo si lascia imparare dall'esperienza. Se lo si alimenta con dati che riflettono gli stereotipi della società, l'algoritmo li replicherà.

"Negli Stati Uniti", esemplifica Hovy nel podcast, "hanno cercato di automatizzare i giudizi sulle decisioni di libertà su cauzione e hanno addestrato il sistema su dati storici, sentenze reali. Quando lo hanno fatto funzionare, il sistema prestava attenzione solo al colore della pelle dell'imputato e ne faceva l'unica caratteristica decisiva, perché le decisioni storiche erano effettivamente distorte contro gli imputati di colore. L'algoritmo in sé non aveva un'ideologia, ma rifletteva il pregiudizio con cui era stato addestrato - rifletteva esattamente gli stereotipi contenuti nelle decisioni che i giudici avevano preso".

Nozza, che sta lavorando su algoritmi di rilevamento dell'hate speech, si è imbattuta in qualcosa di simile. "nel mondo ci sono pregiudizi sociali", dice, "e un modello può imparare alcune regolarità pericolose, come associare a connotazioni negative la presenza di parole legate a quelle che dovrebbero essere minoranze protette. Un esempio è un algoritmo volto a rilevare la misoginia nei testi sui social media, che ha classificato come misogini tutti i testi contenenti la parola donne, indipendentemente dal significato. Questo è qualcosa chiamato bias involontario e non vogliamo che accada".

Clarity in a Messy World, condotto da David W. Callahan, è il podcast della Bocconi che va a fondo delle le questioni più controverse e impattanti del nostro tempo. Potete seguire il podcast su Apple Podcasts, Google Podcasts, Spotify, Spreaker e YouTube.