Server IA italiano self-hosted: VPS, GPU, Llama 3, Ollama passo passo

Tu vuoi un server IA che non passi dagli USA, che non logghi i prompt da nessuna parte e che ti costi meno di un abbonamento Copilot Enterprise. Ti spiego come tirare su un VPS Hetzner Falkenstein con GPU, installare Ollama, far girare Llama 3.3 70B e collegare la tua azienda. Solo comandi veri, niente fuffa.

Di Super Squalo·7 min lettura
Nota. Una nota importante: l'IA è uno di quei settori dove tre mesi cambiano lo scenario. Sto dietro alle guide come posso, però se leggi a distanza non dare per scontato che ogni dettaglio sia ancora aggiornato.

Lunedì mattina, ufficio. Hai letto l'ennesimo articolo sulle "aziende che vietano ChatGPT" e ti gira la solita domanda. Come faccio ad avere un assistente IA che non passi dagli Stati Uniti? Che non logghi le mie cose? Che non costi quanto un'auto nuova ogni anno? Buona notizia: si può fare. Costa fatica più che soldi.

Ti racconto come si tira su un sistema IA italiano per la tua azienda, senza la fuffa dei pacchetti enterprise da venti pagine di slide.

Il pasticcio in cui finisci se "tanto basta ChatGPT Enterprise"

I piani enterprise dei big americani migliorano alcune cose: niente addestramento sui tuoi prompt, audit log, qualche garanzia in più. Ma due punti restano fissi: il dato comunque transita per un'azienda americana e quindi è soggetto a leggi americane (CLOUD Act, in primis). Il costo per utente è alto e non hai sotto controllo le cose che vengono fatte col modello.

L'altra trappola è il setup fai-da-te improvvisato. Persona di buona volontà, scarica due modelli aperti, li mette su un PC sotto la scrivania, e per tre mesi va. Poi salta il disco, si scopre che non c'erano backup, e l'azienda perde l'assistente che ormai usavano in venti.

Aggiungi il tema costi vero: un sistema serio non costa due caffè, ma costa molto meno di quello che ti vendono come "soluzione IA enterprise certificata". La differenza la fa chi te lo monta e chi te lo segue.

Cosa NON puoi fare

Non puoi mettere il modello su un PC sotto la scrivania senza backup, senza monitoraggio, senza un piano di ripristino. È un giocattolo finché non si rompe.

Non puoi esporre il sistema su internet senza protezione: firewall, autenticazione forte, certificati TLS. Se lasci una porta aperta, te la trovano in 24 ore.

Non puoi usarlo per dati sanitari, dati personali sensibili o materiale strategico se non hai chiarito ruoli (titolare del trattamento, responsabile, sub-responsabile), informativa, registro dei trattamenti. Anche se è "in casa tua", il GDPR non si volatilizza.

Non puoi dimenticarti gli aggiornamenti. I modelli e i sistemi che li servono cambiano in fretta. Se lasci la macchina ferma sei mesi, va in bocca a vulnerabilità note.

Cosa invece devi fare

Mettiamola in concreto. Il giro che funziona per le aziende italiane piccole e medie ha tre pezzi.

Primo pezzo: una macchina dedicata, in data center europeo, con risorse calibrate sul tuo uso (numero di persone, tipo di richieste). Niente PC sotto la scrivania, niente sala server improvvisata. Data center serio, contratto chiaro, supporto in italiano.

Secondo pezzo: un modello aperto scelto in base al tuo caso d'uso. Per scrivere documenti, riassunti, supporto clienti vanno bene i modelli generalisti. Per cose tecniche specifiche servono modelli più mirati. La scelta non è da copincollare da un blog: dipende da cosa fai.

Terzo pezzo: un'interfaccia che le persone in azienda usano davvero. Browser, integrata col gestionale, con la posta, coi documenti. Se l'assistente non è dove la gente già lavora, dopo due settimane non lo apre più nessuno.

Sopra a tutto questo: monitoraggio, backup automatici quotidiani, log degli accessi, password manager aziendale, autenticazione a due fattori. Sono cose noiose, ma sono la differenza tra un sistema serio e un giocattolo.

I paletti che non si toccano

Server in data center europeo, contratto firmato, certificazioni di sicurezza verificabili. Sembra ovvio ma molti fornitori promettono "server in Europa" e poi ne hanno la metà altrove.

Cifratura in transito e a riposo, chiavi in mano tua, non del fornitore. Se ti capita una richiesta legale, sei tu a decidere cosa esibire, non il provider.

Backup automatici giornalieri, salvati in una location diversa da quella di produzione. Test di ripristino una volta al mese: serve a vedere se i backup funzionano davvero, non solo se occupano spazio.

Audit log dettagliato di chi accede e cosa chiede. Conservati per il tempo che ti serve, non per sempre. Cancellazione automatica del prompt history dopo periodo definito.

Manutenzione: aggiornamenti di sicurezza dentro 72 ore dalla pubblicazione, aggiornamenti del modello con calma e dopo test. Se non hai una persona dedicata, contratto di gestione con qualcuno che lo faccia per te.

Una nota personale

Mettere su un sistema IA italiano per un'azienda non è scienza, ma serve pazienza e mestiere. Sul gruppo Telegram di Super Squalo (t.me/Squalogruppo) ci sono titolari e responsabili IT che hanno fatto questa strada e raccontano cosa funziona e cosa no. Si risponde gratis. Se stai pensando di partire e vuoi capire da dove cominciare senza farti vendere il pacchetto da diecimila euro, fai un giro lì.

Hai un dubbio? Vieni a parlarne.

Gruppo Telegram aperto. Domande, opinioni, casi vissuti. Senza venditori e senza spam. Per consulenza personale o caso aziendale, usa il pulsante consulenza.