L'underfitting è il problema opposto dell'overfitting. Il modello è troppo semplice o sotto-addestrato per catturare i pattern nei dati. Fa schifo sui dati di training E sui dati nuovi. Doppia sconfitta.
Cause:
- Modello con pochi parametri / strati per il problema.
- Addestramento troppo breve.
- Feature di input povere (informazioni insufficienti per imparare).
- Regolarizzazione troppo forte.
Sintomi:
- Performance scarsa sia su training che su test.
- Le predizioni sembrano semi-casuali.
- Il modello non migliora nemmeno se gli dai più dati.
Soluzioni:
- Modello più grande / più capace.
- Addestramento più lungo.
- Feature engineering migliore.
- Ridurre regolarizzazione.
Trade-off classico ML: trovare il punto giusto tra underfitting (modello troppo semplice) e overfitting (modello troppo memorizza).