Il transfer learning è la pratica di prendere un modello già addestrato su un compito e usarlo come base per un compito diverso. Risparmi mesi di addestramento e tonnellate di dati.
Esempio: un modello pre-addestrato a riconoscere oggetti generici nelle foto (gatti, sedie, alberi) può essere "transferito" e fine-tunato per riconoscere specifiche malattie della pelle dalle foto. Funziona perché i primi strati del modello hanno imparato a estrarre caratteristiche visuali generali utili anche per il nuovo task.
Per gli LLM, il transfer learning è la regola:
- Pretrainin su miliardi di documenti generici → modello base con conoscenza ampia.
- Fine-tuning su dati specifici → modello specializzato (medicina, legge, codice).
Vantaggi:
- Bastano centinaia o migliaia di esempi specifici, invece di milioni.
- Tempo di addestramento da mesi a ore.
- Performance spesso migliori che addestrare da zero.
È diventato così comune che oggi praticamente nessuno addestra più modelli grandi da zero, partono tutti da un foundation model esistente.