Tutta colpa dei dati. E di chi addestra l'algoritmo

Le capacità dei sistemi software di intelligenza artificiale stanno progredendo rapidamente e si prevede che avranno un impatto sempre più dirompente su diversi settori, con effetti positivi sostanziali sull'economia e sulla società.
Come ogni innovazione tecnologica, l'adozione delle tecnologie AI comporta alcuni rischi che dovremo imparare a riconoscere e prevenire. Uno di questi rischi è che i sistemi di IA possano potenzialmente perpetuare pregiudizi e discriminazioni nei confronti di alcuni gruppi, per esempio sulla base del genere, dell'etnia o dell'età.
Come può un algoritmo di IA avere pregiudizi o creare discriminazioni?
In genere, si addestra un sistema di IA a svolgere un determinato compito utilizzando dati che mostrano esempi di soluzioni corrette per il compito. Un algoritmo di addestramento di machine learning elabora quindi un modello dei dati e del compito che funziona bene sugli esempi forniti e che di solito si generalizza bene sugli esempi successivi. Per esempio, si può addestrare un sistema a fornire una descrizione di una data fotografia mostrandogli prima milioni di esempi di fotografie insieme alle loro descrizioni. Il sistema Chat GPT-3 è stato addestrato per il compito di prevedere la parola successiva in una frase, fornendogli miliardi di esempi di frammenti di frasi insieme alla parola successiva nella frase. Dato questo predittore della parola successiva, Chat GPT-3 lo applica in pratica più volte per creare testi più lunghi, ed è in grado di creare saggi, storie, poesie e così via, sorprendentemente coerenti, come chiunque abbia giocato con lui avrà visto.

Per tornare a come può nascere la discriminazione, supponiamo che un'azienda voglia automatizzare alcune parti del suo processo di assunzione e che per farlo crei un sistema di intelligenza artificiale per assegnare un punteggio alla probabilità che un determinato candidato venga assunto, in modo che i candidati che ottengono i punteggi più bassi possano essere automaticamente scartati e solo quelli che ottengono i punteggi migliori vengano valutati da un umano. In questo caso, l'azienda fornirebbe all'algoritmo di ML i dati relativi ai candidati passati e alla loro eventuale assunzione, in modo che il sistema possa costruire un modello di quali caratteristiche del curriculum vitae rendono probabile l'assunzione di un candidato. E se, invece, l'azienda avesse discriminato in passato le candidate donne? In questo caso, nel costruire un modello fedele ai dati, l'algoritmo di ML imparerebbe a dare un punteggio inferiore alle donne rispetto agli uomini. Lo stesso accadrebbe se l'azienda avesse discriminato in passato i candidati più anziani o quelli con determinate altre caratteristiche.
Un problema simile potrebbe sorgere se si volesse costruire un sistema di valutazione del credito per prevedere la probabilità che un determinato richiedente di un prestito sia inadempiente, o un sistema per prevedere la probabilità che un detenuto che chiede la libertà vigilata commetta nuovamente dei crimini se rilasciato. Tali sistemi verrebbero addestrati sulla base di dati passati, ma i dati passati potrebbero riflettere discriminazioni passate, ad esempio nei confronti di persone di determinate etnie, e il rischio è quello di addestrare un modello che farebbe anche scelte distorte
Purtroppo non ci si può proteggere da questo rischio semplicemente cancellando dai dati di addestramento caratteristiche sensibili come il sesso o l'etnia, perché tali caratteristiche potrebbero essere fortemente correlate con altri dati presenti, e il sistema di intelligenza artificiale potrebbe imparare a dedurre tali caratteristiche dai dati disponibili, e quindi discriminare su tale base!

Un esempio concreto di questo rischio si è verificato qualche anno fa negli Stati Uniti: il sistema COMPAS era un algoritmo proprietario sviluppato per prevedere la probabilità che un determinato detenuto diventasse un recidivo, e veniva utilizzato dai tribunali per decidere la condanna e la libertà vigilata. L'algoritmo prendeva in considerazione 137 parametri, tra i quali non figurava la razza della persona, ma un'indagine del 2016 di Pro Publica ha dimostrato che il sistema presentava un pregiudizio costante nei confronti dei detenuti neri, assegnando loro un rischio di recidiva superiore al tasso effettivo di recidiva registrato negli anni successivi, mentre ai detenuti bianchi veniva assegnato un rischio inferiore al tasso effettivo di recidiva negli anni successivi. Il modello alla base di COMPAS, evidentemente, aveva effettivamente imparato dai dati di addestramento a prevedere l'etnia delle persone e quindi discriminava su tale base.
Un'altra fonte di distorsioni nell'IA può derivare da un problema analogo e più innocuo, ovvero la rappresentazione di diversi gruppi nei dati di addestramento. Nel ML, per ottenere una buona precisione è necessaria una grande quantità di dati, quindi se un certo sottogruppo è sottorappresentato nei dati di addestramento è possibile che l'algoritmo di ML crei un modello meno preciso in quel sottogruppo. Ad esempio, i sistemi di riconoscimento facciale addestrati su immagini che mostrano prevalentemente volti di persone bianche potrebbero avere un alto tasso di errore quando cercano di riconoscere i volti di persone di altre etnie, un problema che si è presentato più volte nel campo del riconoscimento facciale.

Questi problemi sono preoccupanti, ma ci sono ragioni per essere ottimisti. Il fatto che dati distorti portino a previsioni distorte è un problema classico della statistica ed esistono approcci per verificare i dati di addestramento prima di utilizzarli e per verificare un modello dopo la fase di addestramento per rilevare eventuali distorsioni. La verifica di un modello creato da un moderno algoritmo di ML è difficile perché le sue previsioni si basano su calcoli complicati che coinvolgono milioni o miliardi di parametri numerici, quindi, in parte motivato da questioni di equità e responsabilità, si sta studiando attivamente il problema di costruire sistemi di IA cosiddetti spiegabili. Un sistema di IA spiegabile fa una previsione e fornisce anche una spiegazione leggibile dall'uomo per la sua previsione. Infine, è in corso un'attività di regolamentazione dell'uso dell'IA, come la proposta di "legge sull'IA" attualmente in discussione al Parlamento europeo.