Usare un assistente AI senza inviare dati a un server esterno è una prospettiva attraente per professionisti, studi e piccole aziende: riservatezza, nessun abbonamento, funzionamento anche offline. Nel 2026 è una possibilità concreta, ma richiede di capire alcuni concetti di base, perché il collo di bottiglia non è dove molti pensano.
La regola d’oro: conta la memoria
Un modello linguistico deve essere caricato interamente in memoria per funzionare in modo fluido. La dimensione dipende dal numero di parametri e dalla precisione con cui sono salvati. Con la quantizzazione, cioè riducendo i bit per parametro, si abbassa molto l’ingombro al prezzo di una piccola perdita di qualità.
| Dimensione del modello | Uso tipico | Memoria indicativa (quantizzato a 4 bit) |
|---|---|---|
| 3-8 miliardi di parametri | riassunti, bozze, chat semplice | 4-8 GB |
| 12-30 miliardi | scrittura più curata, codice, analisi documenti | 10-24 GB |
| 70 miliardi e oltre | qualità vicina ai servizi cloud | 40 GB e più |
A questi valori va aggiunto spazio per il contesto, cioè il testo che il modello tiene a mente: documenti lunghi richiedono memoria extra.
GPU, memoria unificata o NPU?
- GPU dedicata: su un PC Windows o Linux la VRAM della scheda video è la risorsa chiave. Una GPU con molta memoria video è il modo più rapido per modelli medi.
- Memoria unificata: i Mac con Apple Silicon e i sistemi con architettura simile condividono la stessa memoria tra CPU e GPU, permettendo di caricare modelli grandi anche senza scheda dedicata. Non a caso il Mac mini è diventato popolare proprio per l’AI locale.
- NPU: le unità neurali dei notebook Copilot+ sono efficienti per funzioni integrate nel sistema e piccoli modelli, ma oggi il supporto dei software di chat locali è ancora più maturo su GPU e CPU.
Configurazioni di riferimento
- Per iniziare: notebook recente con 16 GB di RAM, modelli da 3-8 miliardi. Utile per prove e riassunti.
- Uso professionale leggero: 32 GB di RAM o GPU con 12-16 GB di VRAM, modelli fino a circa 30 miliardi.
- Uso intensivo: workstation o mini PC con 64-128 GB di memoria unificata, oppure GPU professionali. Qui rientrano macchine come il Mac Studio o le mini workstation di nuova generazione.
Il software
Esistono applicazioni gratuite che rendono l’operazione quasi immediata, come Ollama o LM Studio, che scaricano i modelli e offrono un’interfaccia di chat o un’API compatibile con molti strumenti. Conviene scegliere modelli con licenza chiara per l’uso commerciale e scaricarli solo da repository ufficiali: un file di modello è pur sempre software di terze parti.
Aspettative realistiche
Un modello locale da 8 miliardi non è paragonabile ai modelli di frontiera nel cloud. Funziona bene per compiti circoscritti: riassumere verbali, riformulare email, cercare informazioni in un archivio di documenti interno. Per ragionamenti complessi il cloud resta superiore, e molte aziende adottano un approccio ibrido: dati sensibili in locale, il resto sui servizi online.
La nostra lettura
Con la crisi dei prezzi della memoria, la RAM è diventata la voce di spesa più pesante di un PC pensato per l’AI. Prima di acquistare, conviene partire dal modello che si vuole usare e risalire alla configurazione, non il contrario.
