"IA Doomer" è un termine, a volte usato dispregiativamente, a volte rivendicato con orgoglio, per chi sostiene che lo sviluppo dell'intelligenza artificiale avanzata rappresenti un rischio esistenziale serio per l'umanità: estinzione umana o perdita permanente del controllo del nostro futuro.
Argomenti dei doomer:
- Difficoltà di allineamento: addestrare un'IA potente a perseguire esattamente i nostri valori è enormemente difficile (vedi deceptive alignment, goal misgeneralization).
- Instrumental convergence: agenti capaci sviluppano sub-obiettivi pericolosi.
- Scaling rapido: capacità IA crescono velocemente, governance e safety arrancano.
- Asimmetria del rischio: anche bassa probabilità × danno enorme = rischio inaccettabile.
- Race condition: aziende e nazioni in competizione tagliano la safety.
Figure principali:
- Eliezer Yudkowsky: Machine Intelligence Research Institute (MIRI), il "doomer" più estremo. Ha invocato moratoria globale sull'addestramento di modelli grandi (Time Magazine 2023). Probabilità di catastrofe stimata >50%.
- Nick Bostrom: filosofo Oxford, libro "Superintelligence" (2014).
- Geoffrey Hinton: lasciato Google nel 2023 per parlare apertamente di rischi.
- Yoshua Bengio: Turing Award, posizione moderata-doomer.
- Stuart Russell: libro "Human Compatible".
- Center for AI Safety (CAIS): ha pubblicato statement firmato da Hinton, Bengio, Altman, Hassabis: "Mitigating the risk of extinction from IA should be a global priority alongside other societal-scale risks such as pandemics and nuclear war".
Aziende con orientamento doomer-ish:
- Anthropic: fondata da ex-OpenAI usciti per dissensi su safety. Mission: AI safety.
- OpenAI Superalignment team: smantellato 2024 dopo dimissioni Jan Leike e Ilya Sutskever (entrambi più "doomer" che "boomer").
Critici dei doomer:
- Yann LeCun (Meta): considera lo scenario fantascienza distopica.
- Andrew Ng: scenari catastrofici sono distrazione da problemi reali (bias, lavoro).
- Acceleratzionisti / e/acc: sviluppo IA va spinto al massimo, frenarla è il vero rischio.
- Critici di sinistra: doomerismo è marketing per attirare investimenti e regolamentazione protezionistica.
Posizione moderata: rischi esistenziali sono incerti ma non zero, attenzione vale la pena. P(doom) stime che girano nei ricercatori vanno da <1% (LeCun) a >50% (Yudkowsky), con la maggioranza tra 5-25%.