L'intelligenza artificiale è ormai parte integrante del mondo in cui viviamo e lo sarà sempre di più. Tanti sistemi si stanno "convertendo" all'uso dell'IA e del machine learning per migliorare la vita delle persone, permeandone ogni aspetto.
Esiste però il problema degli errori dell'intelligenza artificiale e delle conseguenze che potrebbero avere. In molti casi uno sbaglio del sistema potrebbe causare danni molto gravi se non irreparabili, soprattutto in ambiti critici come la sanità o la giustizia.
È il caso, ad esempio, del sistema COMPAS - Correctional Offender Management Profiler for Alternative Sanctions, un'IA usata nei tribunali per valutare l'imputato e definire se fosse un criminale ad alto rischio.
Il sistema si è rivelato sbilanciato verso alcune etnie e i risultati non erano imparziali. In questo caso le conseguenze per l'imputato erano più anni di prigione e penali più salate.
Uno dei problemi dei sistemi di IA sta nel definire un dataset per il training che sia imparziale, completo e accurato. I dati usati per addestrare il modello sono ciò che fa davvero la differenza per l'accuratezza dei risultati, oltre ovviamente a una corretto sviluppo del sistema.
Gli algoritmi di IA dovrebbero rispettare caratteristiche di integrità, correttezza e trasparenza: il modello deve essere sviluppato in modo che i parametri di valutazione non cambino, con un data set integro e senza faziosità, e il suo funzionamento deve essere di dominio pubblico, così che le persone conoscano il modo in cui l'algoritmo prende le decisioni.
