Opinioni Dataset discriminatori generano output ricchi di pregiudizi

Marina Londei

Tempo di lettura: 1' 44''

Pubblicato il: 14/09/2023

Una delle preoccupazioni principali legate all'uso degli strumenti di IA generativa riguarda i potenziali risultati discriminatori nei confronti di singoli individui o gruppi di persone.

La paura è che gli algoritmi di IA, siano essi utilizzati per generare immagini, video o testi, possano produrre output conditi di pregiudizi e quindi potenzialmente pericolosi.

Roberto Carrozzo, Head of Intelligence & Data presso Minsait, ha condiviso una riflessione sull'argomento, ricordando che la "colpa" di eventuali risultati discriminatori non è degli algoritmi, ma dei dati.

Pixabay

Le informazioni usate per l'addestramento provengono da fonti eterogenee e in molti casi soggette a pregiudizi e schemi mentali di chi le ha prodotte. Sono i dati di training a generare bias potenzialmente discriminatori, e questo può avvenire per due ragioni: la prima è legata al contenuto stesso dei dati che si rivela discriminatorio, in quanto riflette il pensiero reale di un gruppo ristretto di individui; la seconda riguarda invece un errore nella selezione di un sottinsieme dei dati di training che risulta in un set incompleto, sbilanciato o non inclusivo.

Carrozzo ha riportato un esempio concreto che dimostra l'impatto che possono avere i dataset errati sui risultati degli algoritmi, parlando di un modello di previsione sviluppato dal Dipartimento per gli Affari Veterani degli Stati Uniti.

L'algoritmo era pensato per prevedere l'insorgenza di insufficienza renale nei pazienti di entrambi i sessi biologici; dai test è però emerso che il modello era più preciso su persone di sesso maschile, perché era stato addestrato su dati relativi a persone di quel sesso.

Pixabay

Vista l'ampia diffusione dei modelli e i temi sempre più delicati che toccano, è di fondamentale importanza definire delle regolamentazioni per l'uso consapevole dell'IA generativa e per l'equità e la completenza dei dati di training.

"Stiamo vivendo una fase storica che sarà ricordata come il crocevia fondamentale per quello che sarà il futuro dell’intelligenza artificiale" ha affermato Carrozzo, "e solo attraverso la consapevolezza, il dibattito e l’impegno di tutti gli attori coinvolti potremo sviluppare sistemi di intelligenza artificiale equi e non discriminatori".