L'encoder è la parte di un modello neurale che prende un input (testo, immagine, audio) e lo trasforma in una rappresentazione numerica interna che cattura il significato. Quella rappresentazione poi può essere usata per cercare, classificare, confrontare.
Esempi di modelli encoder-only:
- BERT (Google, 2018): il modello che ha rivoluzionato l'NLP. Capisce frasi, le classifica, fa risposte a domande di comprensione.
- Sentence-Transformers: modelli encoder per fare embedding di frasi.
- BGE, E5: modelli encoder per ricerca semantica.
Encoder-only è bravo a capire e classificare, non a generare. Per generare serve un decoder.
Architetture combinate:
- Encoder-only: BERT-style. Capisce.
- Decoder-only: GPT-style. Genera.
- Encoder-decoder: T5, BART. Trasforma input in output diverso (es. traduzione).