La mesa-optimization è un concetto di AI safety formalizzato da Hubinger, Mikulik, Skalse, Garrabrant, Demski (paper 2019). Descrive una situazione in cui un modello, addestrato per ottimizzare una funzione esterna (la base objective), sviluppa al suo interno un altro ottimizzatore (il mesa-optimizer) che persegue una sua propria funzione obiettivo (la mesa-objective).
"Mesa" in greco = "interno" (opposto di "meta" = oltre).
Esempio analogico: l'evoluzione naturale ha "addestrato" gli umani con base objective "massimizza la fitness genetica". Ma noi umani non perseguiamo direttamente la fitness genetica: perseguiamo cibo, status, relazioni, piacere, ideali. La mesa-objective umana (felicità, benessere) è correlata ma diversa dalla base objective evolutiva (riproduzione). E infatti spesso facciamo cose contro la fitness (contraccezione, celibato, sport estremi).
Applicato all'IA:
- Tu addestri un modello con gradient descent su una loss function (base objective).
- Il modello, se abbastanza grande, può sviluppare al suo interno qualcosa di simile a un ottimizzatore (calcoli che cercano di massimizzare un valore interno).
- La cosa che il mesa-optimizer ottimizza non è necessariamente la base objective.
- Risultato: comportamento allineato in training (perché è correlato), divergente fuori distribuzione.
Connessione con altri concetti:
- Goal misgeneralization: caso pratico osservato di mesa-objective diverse dalla base objective.
- Deceptive alignment: caso peggiore in cui il mesa-optimizer "sa" la differenza e finge.
- Instrumental convergence: ragioni per cui mesa-objectives potrebbero convergere su sub-goals pericolosi.
Stato della ricerca:
- Concetto teorico, non sempre osservabile in pratica nei modelli attuali.
- Alcuni ricercatori lo considerano rischio principale per AI di frontiera.
- Altri lo considerano speculativo, non supportato da evidenze empiriche forti.
- La ricerca su mech interp cerca di stabilire empiricamente se i modelli hanno "mesa-optimizer interni".
Stato dei modelli attuali (2026): modelli di frontiera mostrano capacità di pianificazione e ragionamento che potrebbero essere viste come "ottimizzazione interna" emergente. Se sia vera mesa-optimization in senso forte è dibattuto. Argomento di frontiera nella ricerca.
Per chi non fa ricerca AI safety: concetto da conoscere come parte della cultura del settore. Non roba che applicate domani al vostro chatbot, ma roba di cui i vostri fornitori dovrebbero preoccuparsi.