Il bias etico nell'IA è la tendenza sistematica di un modello a produrre risultati che svantaggiano (o avvantaggiano) certi gruppi di persone in base a genere, etnia, età, lingua, religione, classe sociale.
Da dove viene il bias:
- Dati di addestramento sbilanciati: se addestri un riconoscitore facciale principalmente su volti bianchi maschili, riconoscerà male donne nere. Studi MIT (Joy Buolamwini, 2018) hanno documentato error rate fino al 35% su donne nere contro 1% su uomini bianchi nei sistemi commerciali dell'epoca.
- Dati storici discriminatori: se addestri un modello di assunzione su 10 anni di dati di un'azienda che ha assunto principalmente uomini, il modello imparerà a preferire uomini. Caso Amazon 2018: modello di screening CV scartava CV con la parola "women's" (es. "captain of women's chess club").
- Annotazione soggettiva: le etichette dei dati le fanno persone con bias propri.
- Definizione di "successo" sbagliata: il modello ottimizza la metrica che gli dai. Se la metrica è cieca al fairness, il modello sarà cieco.
Casi famosi:
- COMPAS (USA): algoritmo per recidiva criminale, ProPublica 2016 dimostrò bias razziale sistematico.
- Apple Card (2019): donne ottenevano limiti di credito molto inferiori a mariti con stesso ISEE familiare.
- Riconoscimento facciale: arresti errati di persone afroamericane negli USA.
- LLM: stereotipi di genere ("the doctor said he", "the nurse said she").
Mitigazioni:
- Dataset bilanciati e rappresentativi.
- Test di fairness sistematici prima del deploy.
- Documentazione tipo model card.
- Audit indipendenti.
- Diversity nei team di sviluppo (non magia, ma aiuta a vedere problemi).
L'AI Act europeo richiede esplicitamente analisi di bias per sistemi ad alto rischio. Non opzionale.