Discriminazione di genere nell’IA: Intervista a Diletta Huyskes

Diletta Huyskes, dottoranda presso l’Università degli Studi di Milano e ricercatrice ospite presso l’Università di Utrecht, lavora sull’uso di algoritmi e sistemi di intelligenza artificiale da parte delle autorità nei servizi pubblici (come welfare, giustizia e forze dell’ordine), sui valori coinvolti nella loro progettazione e sulle conseguenze che hanno sulla società. Inoltre, Huyskes è CEO e Co-Founder di Immanence, società benefit che si occupa di assicurare lo sviluppo tecnologico rispettando i diritti fondamentali. In questa intervista con S-citizenship, Huyskes ha approfondito l’argomento dei gender bias nell’intelligenza artificiale, dei rischi associati a questo problema e delle relative possibili soluzioni.

Cosa sono i gender bias nell’IA e quali sono alcuni esempi concreti?
«I gender bias sono semplicemente un modo più d’effetto per dire che qualsiasi modello matematico o ritratto matematico della realtà che creiamo, purtroppo racconta la stessa realtà. Questo significa che ogni modello matematico che noi costruiamo lo alimentiamo con dei dati che raccontano la nostra storia e il nostro passato e che non saranno mai esaustivi della realtà e in grado di spiegarla esattamente per com’è, perché non siamo in grado di raccogliere le sfumature. 

Di conseguenza, il primo modo per creare questi bias – che siano di genere o che siano di qualsiasi altro tipo – è quello di allenare dei modelli matematici, delle intelligenze artificiali e così via su dei dati storici, che è quello che succede purtroppo nella maggior parte dei casi, perché è il modo in cui funzionano queste tecnologie. Questo significa che noi stiamo insegnando alle intelligenze artificiali a discriminare le donne, ad esempio, perché è quello che abbiamo fatto per centinaia e migliaia di anni. 

Questo ha particolare rilievo in contesti molto sensibili e importanti come la finanza, i servizi pubblici, i sistemi di credito, il mondo del lavoro, cioè tutti quegli ambiti in cui storicamente e normalmente, purtroppo, le donne sono state discriminate. Può succedere che a una donna non venga concesso un prestito quando l’assegnazione del prestito è basata su tecniche di intelligenza artificiale, perché storicamente alle donne non sono stati concessi prestiti e quindi questi modelli imparano questo. Oppure, per lo stesso motivo, un’intelligenza artificiale alla quale viene richiesto di selezionare certi profili professionali non selezionerà una donna. Gli esempi sono moltissimi. A discriminazione esistente a livello sociale, esiste una stessa discriminazione che viene replicata nell’intelligenza artificiale».

Perché l’IA tende a manifestare gender bias e perché è importante affrontare questo argomento?
«Abbiamo parlato dei dati, che sono un gran pezzo del problema. Un altro pezzo del problema è il fatto che, tendenzialmente, i gruppi di persone che lavorano alla costruzione, alla progettazione e alla gestione di queste tecnologie, non sono rappresentativi e non possono immaginare eventuali problemi di rappresentazione femminile. Di conseguenza, se sono per la maggior parte uomini, a meno che non siano particolarmente sensibili, tendenzialmente non si renderanno conto di una discriminazione esistente. 

Inoltre, non solo questi gruppi di tecnici non sono rappresentativi, ma anche se lo fossero – vale a dire, anche se ci fossero delle donne nei team tecnici – non sarebbe assolutamente scontato che queste donne, avendo una formazione tecnica, riescano a rendersi conto di tutta la parte di impatto sociale e di potenziale discriminazione che queste tecnologie hanno il potere di amplificare». 

Quali sono i rischi associati alla presenza di gender bias nell’IA nella selezione del personale o in ambito giudiziario?
«Molto spesso le persone mi chiedono: “Ma ci sono anche migliaia di persone che pensano che le donne siano in qualche modo inferiori o che esercitano discriminazioni nei confronti delle donne. Qual è la differenza?”. La differenza è la scala, cioè il fatto che se un’intelligenza artificiale impara che le donne non possono ricevere crediti o prestiti, perché storicamente non li hanno ricevuti, e ne fa una regola, potenzialmente applica questa stessa decisione a tutte le donne su cui deve decidere in quel contesto specifico in modo automatico. Qualsiasi persona che condivide la caratteristica “genere femminile” perde questa possibilità. Viene bloccato l’accesso, ad esempio, a un mutuo o a un prestito solo perché è donna. 

Questo nessun essere umano è in grado di farlo, a meno che non sia il Presidente del Consiglio e domani decida di fare una legge contro le donne. Nessun essere umano, per quanto possa essere sessista o misogino, può decidere di applicare una stessa decisione di questo tipo a 30.000 persone nello stesso istante. Questo è il problema principale dei bias nell’intelligenza artificiale. Non solo di quelli di genere, ma dei bias in generale». 

Quali iniziative o strategie sono state messe in atto per affrontare il problema, anche a livello europeo? 
«L’Unione Europea sta lavorando a un Regolamento sull’intelligenza artificiale, che si chiama AI Act. C’è un articolo che si propone di affrontare i bias dando una serie di indicazioni sulla qualità dei dati di training, quindi sui dataset su cui queste intelligenze artificiali devono essere allenate. Dicono che i dati devono essere rappresentativi e devono avere una certa qualità. Questo approccio però è molto limitante perché, come dicevo prima, i dati non sono l’unica fonte di potenziali problemi. Ci sono tanti altri momenti del design in cui un giudizio umano può essere inserito e codificato, passando dall’essere il pensiero di un singolo a diventare una regola. 

Ma questo non è l’unico modo in cui l’Unione Europea sta cercando di intervenire sui bias nell’intelligenza artificiale. Quello in cui credo molto io e in cui crede anche il Parlamento europeo, perché l’ha inserito nell’ultimo testo approvato del Parlamento sull’AI Act, è la valutazione di impatto sui diritti fondamentali. Si parla dell’idea che ogni tecnologia, ogni intelligenza artificiale, prima di essere immessa nel mercato debba passare una valutazione di impatto sui diritti fondamentali. In questo modo la discriminazione sarebbe molto più facile e più diretta da indirizzare».

Diletta Huyskes è una ricercatrice e attivista italiana impegnata nello studio degli aspetti etici e politici della tecnologia. Dal 2019, si dedica alla ricerca sulle implicazioni di genere nell’IA. Huyskes sta conseguendo il dottorato in Sociologia presso l’Università degli Studi di Milano ed è ricercatrice ospite presso l’Università di Utrecht. Si è occupata di etica dei dati presso la Fondazione Bruno Kessler (FBK), nel centro Digital Society a Trento e dal 2020 ricopre il ruolo di Responsabile della Tutela dei Diritti e delle Politiche presso Privacy Network, dove coordina l’Osservatorio dell’Amministrazione Automatizzata, un progetto per mappare gli algoritmi e i processi decisionali automatizzati utilizzati dalle amministrazioni pubbliche in Italia. Dal 2023, Huyskes è CEO e co-fondatrice di Immanence, una società benefit che si propone di garantire lo sviluppo tecnologico nel rispetto dei diritti fondamentali. Ha anche un blog su La Repubblica dove approfondisce questi temi e ne promuove la discussione.