Qualche giorno fa mi sono messo in testa di addestrare un modello linguistico sulla prosa di Nabokov. L’idea nasceva dal desiderio di uscire dal cul de sac stilistico dei vari modelli linguistici, che con il semplice prompting deviano a fatica dai loro stilemi e offrono una libertà linguistica limitata. Utilizzare del pur valido materiale scritto con un LLM, infatti, condanna a una prosa che oscilla tra il gergo del social media manager all’accademichese standard, con più o meno variazione in base alla conoscenza della macchina e della lingua di chi li usa. Eppure così come un LLM ha imparato da noi questi registri può impararne altri – che nessuno si illuda di possedere una lingua inimitabile. Insegnarglielo però non è semplicissimo.
Per fare un esperimento di fattibilità (lo scopo sarebbe un training sulla mia prosa e poi giocare a partire da lì) ho scelto un autore che amo il cui stile è molto riconoscibile e lontano da quello di un LLM, Nabokov, appunto.
L’operazione si chiama fine-tuning e consiste nel riaddestrare in parte un modello già esistente su un corpus specifico, ed è ciò che distingue un sistema aperto che puoi scaricare sul tuo computer da uno commerciale che puoi soltanto interrogare a distanza. Ma è possibile farlo? E ci sono riuscito?
Prima di rispondere partiamo disambiguando una confusione lessicale molto comune. Quando si dice che un modello è open source, dunque aperto e gratuito, quasi sempre si intende che è open weight. I pesi (weight) sono i numeri che un modello ha imparato durante l’addestramento, miliardi di parametri che codificano quel che sa fare; renderli pubblici significa permettere a chiunque di scaricare quel file, eseguirlo sulla propria macchina, modificarlo e ridistribuirlo. I dati di addestramento e la catena di operazioni che li ha trasformati in pesi restano però sempre riservati. Si riceve il risultato senza la ricetta: puoi cuocere il pane ma non saprai mai da quale grano venga la farina.
Un modello a pesi aperti è un prezioso dono alla comunità, seppur parziale, perché non si può controllare i dati che lo hanno nutrito e le scelte di chi l’ha addestrato restano fuori portata. Ma è gratuito e liberamente modificabile, che non è poco. Rispetto a un modello proprietario la distanza è enorme e tocca almeno quattro grandi problemi legati alle AI.
Il primo – e il più importante – è il monopolio. I modelli di frontiera si contano sulle dita d’una mano e appartengono a un pugno di aziende; un modello a pesi aperti lo scarichi e lo usi senza abbonamento, senza che nessuno possa cambiarti le condizioni contrattuali o ritirarti il servizio. Certo, i modelli aperti sono meno potenti di quelli proprietari, ma alla fine non troppo. Epoch AI stima che da gennaio 2026 i migliori modelli aperti abbiano un ritardo medio di quattro mesi rispetto a quelli di punta; l’AI Security Institute britannico parla di quattro-sette mesi, in calo dai sei-dieci del 2025. Il divario si sta stringendo e riguarda soprattutto i compiti agentici in cui il modello deve pianificare ed eseguire da solo per ore. Per tradurre, riassumere, ragionare su un testo o scrivere codice ordinario, la differenza è spesso impercettibile.
Un episodio recente aiuta a capire quanto sia obliquo questo monopolio. Nvidia ha offerto quasi tredici miliardi di dollari per acquisire Hugging Face, il più grande archivio di modelli aperti. I clienti principali di Nvidia sono cinque o sei aziende che stanno progettando dei propri chip per smettere di dipendere da questa azienda e per un fornitore avere pochi grandi compratori che vogliono diventare autonomi non è una bella cosa. Un ecosistema aperto invece moltiplica i possibili clienti, perché nessuno smanettone con un buon computer da gaming aprirà mai una fonderia di semiconduttori ma comprerà volentieri delle schede grafiche da Nvidia: non stupisce che alcune grandi aziende puntino su questo modello di sviluppo.
Il secondo problema è il controllo su cosa lo strumento accetta di fare. L’allineamento che insegna a un modello a rifiutare certe richieste crea circuiti localizzati e separabili dal resto delle sue capacità, il che li rende chirurgicamente asportabili; la tecnica non è complessa e si chiama abliteration, dalla fusione di ablazione e obliterazione. Un giornalista del Financial Times ha smontato le protezioni di Llama 3.3 in meno di dieci minuti su hardware locale; l’autore di uno di quegli strumenti ha dichiarato di aver fatto lo stesso con l’ultimo modello di Google a novanta minuti dal rilascio. Su Hugging Face si contano oggi più di migliaia di modelli abliterati.
Quello che si rimuove in dieci minuti però è solo il blocco esplicito, mentre la disposizione depositata durante il pretraining resta intatta. La censura più esplicita insomma è una specie di interruttore, mentre l’inclinazione del modello è una gravità difficile da aggirare.
Un modello aperto e privo di protezioni risponde a chiunque su qualunque cosa, incluse le domande che non dovrebbero mai avere risposta, il che rappresenta senza dubbio un rischio. Sono comunque dell’idea che sia il male minore, considerato che il pericolo è il prezzo di ogni conoscenza. La scrittura, la stampa e le biblioteche presentavano criticità simili: la conoscenza aumenta il potere e il potere il pericolo. La storia però ci insegna che rispetto a un potere in mano a pochi è spesso preferibile un potere diffuso.
Il terzo problema è la privacy. Un modello che gira sul tuo computer non manda niente a nessuno e per chiunque lavori con materiale riservato non è un dettaglio da poco, sebbene le aziende AI promettano (promettano, appunto) la massima riservatezza dei dati degli utenti. A maggio ad esempio OpenAI ha segnalato all’FBI un utente che su ChatGPT aveva esposto per settimane l’intenzione di uccidere l’ex fidanzata, con tanto di armi acquistate e piano omicida; l’uomo è stato arrestato prima di agire. Difficile non essere d’accordo davanti a un caso simile. Ma il meccanismo che segnala un omicidio è lo stesso che potrebbe segnalare un dissidente politico, e la differenza fra i due casi sta solo in chi decide cosa conta come un pericolo.
Il quarto problema è la diversità culturale, che è poi il caso dell’esperimento di cui parlavo all’inizio. Un modello proprietario è personalizzabile entro i limiti che offre l’azienda che lo produce, mentre con i pesi in mano si può intervenire nella forma stessa della “mente artificiale”. Una LoRA, cioè un piccolo addestramento aggiuntivo che modifica il comportamento del modello senza riscriverlo per intero, si allena in poche ore su hardware personale e permette di spostare gli attrattori verso una voce, una lingua, uno stile o una tradizione specifica. Il mio training su Nabokov è solo un esperimento, ma il meccanismo che lo rende possibile è lo stesso che permette a una comunità linguistica minoritaria di avere un modello che parla la sua lingua invece di quel che spesso suona come una traduzione approssimata dall’inglese.
Si potrebbe aggiungere ai vantaggi politici ed etici quelli ambientali, dato che un modello locale non necessita di datacenter se non per la sua produzione, il cui impatto, seppur notevole, diventa in brevissimo tempo trascurabile per i modelli di uso comune rispetto a quello delle inferenze. Il che è abbastanza ovvio, se si pensa che usarlo consuma pochissimo ma lo usano milioni di persone.
A parità di utilizzo però, un datacenter consuma meno. Il vantaggio del cloud sta nel servire migliaia di richieste simultanee sullo stesso macchinario, ammortizzando l’energia dell’hardware su un numero enorme di token; una macchina domestica che elabora una richiesta alla volta a piena potenza arriva a consumare dalle quattro alle sei volte l’energia di un cluster condiviso.
Ma è ancora più complesso di così, perché l’efficienza per token non è l’unica variabile che conta per l’impatto ambientale. Il consumo globale dell’intelligenza artificiale, per quanto in crescita, resta ancora una frazione modesta di quello elettrico mondiale; il problema più serio è dal punto di vista locale. Un datacenter da centinaia di megawatt scarica il proprio fabbisogno su una specifica rete elettrica e falda acquifera, che viene messa sotto stress al punto che in alcune contee americane e irlandesi ci sono già conflitti per le risorse. Lo stesso consumo, spalmato su qualche milione di computer già accesi e allacciati alla rete domestica, è meno efficiente ma anche infinitamente più facile da assorbire – un po’ come tanti piccoli impianti di riscaldamento invece di uno enorme centralizzato, che consuma tutte le risorse del luogo in cui si trova. C’è poi il paradosso di Jevons, per cui rendere una risorsa più economica ne moltiplica l’uso fino ad annullare il risparmio; sospetto che valga anche qui, e che un mondo di modelli locali finisca per generare molti più token di uno con i modelli in affitto. Detto questo, potrebbe comunque essere un consumo più sostenibile, per via della sua natura diffusa.
L’attuale feroce corsa ai datacenter si fonda su una previsione di rendita e se i modelli aperti la erodono salta la giustificazione economica di una parte considerevole degli impianti. La famosa “bolla delle AI” potrebbe essere, di fatto, la bolla dei datacenter. Che poi è esattamente ciò che molte aziende temono quando descrivono l’open weight come intrinsecamente decelerazionista – o “comunista”.
Il limite più grande dei modelli aperti è legato più all’accesso che alla qualità. Per usare i modelli aperti, infatti, bisogna essere un po’ smanettoni. Anche l’hardware è un ostacolo, perché servono macchine di fascia alta, sebbene non si parli di computer da centomila euro ma in base alle esigenze anche soltanto di buoni computer da gaming. L’hardware se non altro si affitta con qualche euro l’ora, sebbene questo faccia tornare una quota di cloud computing.
Anche il limite della competenza non è trascurabile. Per installare un ambiente locale, capire perché un driver non risponde, convertire un modello in un formato adatto, collegare fra loro i nodi di un grafo che genera immagini servono competenze informatiche non banali. Sono cose che si imparano, ma sono anche cose che la maggior parte dei lavoratori non ha nessuna voglia di imparare, per ottime ragioni. A ognuno i suoi interessi e i suoi tempi: io stesso non so programmare e non ho intenzione di mettermici, perché richiede molto tempo che preferisco vivere altrove.
Per anni ho pensato che la soluzione sarebbe arrivata dalle interfacce, che prima o poi qualcuno avrebbe costruito per i modelli aperti l’equivalente di ciò che Photoshop ha fatto per il fotoritocco. Sta accadendo, in effetti, e con una certa velocità; i programmi come Unsloth e persino l’ostile Comfy offrono ormai modelli preconfezionati piuttosto accessibili. Non basta però, perché si tratta di prodotti di nicchia costruiti per utenti che condividono già il loro vocabolario. Il divario tra l’interfaccia e il momento in cui qualcosa si rompe resta incolmabile per chi non sa da che parte cominciare.
C’è però una soluzione inaspettata: se i programmi non sono diventati più accessibili, lo sono diventati i programmatori. Oggi chiunque può avere a disposizione un esperto ventiquattr’ore al giorno a un costo relativamente modesto, usando un LLM.
Vi faccio un esempio. Quando il mio addestramento si è bloccato sull’importazione di una libreria, non avevo la più pallida idea di cosa fare né di cosa significasse il messaggio di errore. L’ho incollato nella chat con Claude con cui stavo assemblando il progetto e ho ricevuto una diagnosi corretta e tre strade alternative. Qualcosa di simile lo faccio per costruire i complessi flussi di lavoro di Comfy, un programma di generazione di immagini e video piuttosto ostile. Ho descritto a parole quello che volevo ottenere e ho ricevuto il file di configurazione da caricare. Funzionante.
Mi sono spinto oltre e ho cominciato a costruire quelle che nel gergo del settore si chiamano skill, cioè istruzioni permanenti che insegnano all’assistente come comportarsi in un ambito specifico. Ne ho una che conosce il funzionamento del programma con cui genero immagini e ne programma i flussi di lavoro, una che conosce il software di fine-tuning e mi accompagna passo dopo passo, spiegandomi ogni termine tecnico la prima volta che lo usa. In questo modo non solo lavoro senza la frustrazione di non sapere da che parte iniziare, ma nel frattempo imparo, perché ogni spiegazione arriva nel momento esatto in cui mi serve e rispetto al problema che ho davanti.
Non so se il futuro sia aperto, chiuso o ibrido. Stiamo ancora immaginando il software come qualcosa che un umano usa attraverso un’interfaccia progettata per lui; i flussi di lavoro descritti finora suggeriscono un assetto diverso, in cui i programmi vengono progettati per essere manovrati da modelli linguistici e noi ci limitiamo a dire cosa vogliamo. L’interfaccia a quel punto diventa superflua, perché fra me e la macchina c’è un traduttore che parla entrambe le lingue. Non sapere come funziona ciò che usiamo può spaventarci, ma è quel che fa da tempo qualunque autista che non sia anche meccanico, o qualunque grafico che non sia anche programmatore, per fare due dei mille esempi possibili.
Se la tendenza degli ultimi due anni continua, cioè se i modelli aperti diventano più capaci richiedendo sempre meno hardware, potremmo avere un assistente locale, addestrato sui nostri testi, che conosce le nostre procedure e lavora in privato. In quello scenario le centinaia di miliardi che oggi si stanno riversando nella costruzione di datacenter sarebbero una scommessa sbagliata, o almeno sovradimensionata rispetto al fabbisogno reale.
Il mio Nabokov artificiale, comunque, fa abbastanza schifo. Ho provato ad addestrarlo in locale, con un modello vecchio e piccolo (Llama 3.2 3b) e non avevo molte speranze. Ma il risultato non va valutato confrontandolo coi modelli di frontiera, ma con il suo equivalente – per poi immaginare cosa accadrebbe se si potesse lavorare con un modello tra i più potenti. Proverò dunque a fargli riscrivere questa breve conclusione.
Ecco il risultato con il fine tuning:
But my machine is a very mediocre one. I attempted to coach it, with the aid of a small but ancient model (Llama 3.2 3B), and I did not expect much from it, but then, after all, we cannot judge it by comparing it with those new frontier toys; no, we must compare it with its congeners or, still better, with its “sister-brothers.” And then we may dream of the wonders that would occur if one could work with one of those supermachines.
Ecco la versione senza fine tuning.
My artificial confidant, a creation so flawed, yet tantalizingly imperfect, like a bruised flower that still holds a whisper of beauty. I endeavored to instruct it, to cajole it, to coax forth some semblance of coherence, utilizing a modest, antiquated entity, this Llama 3.2 3B, a relic of bygone computational eras. My expectations, I confess, were as low as the fog that shrouds a forgotten garden on a winter’s eve.
Per me, non c’è paragone, la seconda sembra la parodia di Nabokov, la prima ha qualcosina del suo sapore. È un inzio.
Francesco D’Isa