«Non gli era mai venuto in mente prima, non aveva mai provato alcuna empatia verso gli androidi che uccideva. Aveva sempre pensato che ogni anfratto della sua psiche, al pari della sua coscienza, guardasse all’androide come a una macchina intelligente. Eppure, al contrario di Phil Resch, in lui si era manifestata una differenza. E d’istinto sentiva di aver ragione. Empatia verso una creatura artificiale?, si chiese. Verso una cosa che finge soltanto di essere viva? Ma Luba Luft gli era parsa genuinamente viva. La sua non gli era mai sembrata una simulazione.»
Gli androidi sognano pecore elettriche?, Philip K. Dick
Nel linguaggio prodotto dalle IA si manifesta un paradosso fondamentale, perché capita che si palesi una forma che funziona, ma che non sempre significa. I modelli di linguaggio artificiale, in particolare quelli di grandi dimensioni (LLM, ovvero Large Language Model), producono testi che si presentano con una coerenza sintattica e grammaticale molto precisa, ma che possono risultare semanticamente infondati, incoerenti o del tutto inventati. Questo fenomeno, noto come “allucinazione” è l’effetto strutturale di un sistema che non dispone di una conoscenza diretta di quella che noi identifichiamo come realtà, ma si limita a calcolare la probabilità con cui una parola segue un’altra, basandosi su pattern ricavati da grandi corpus testuali. Questa modalità di funzionamento li rende efficaci nella generazione di testi fluenti e plausibili, ma allo stesso tempo li espone al rischio costante di produrre sequenze che, pur essendo linguisticamente corrette, non corrispondono a fatti, conoscenze o realtà verificabili.
Le forme più evidenti di allucinazioni sono affermazioni false, citazioni inventate, riferimenti inesistenti, ma anche costruzioni più sottili in cui l’incoerenza si manifesta nella perdita di coesione semantica, nella vaghezza concettuale, o nell’accumulo di enunciati compatibili tra loro ma disancorati da qualsiasi fonte attendibile.
Le allucinazioni algoritmiche sono alimentate non solo dalla struttura statistica dei modelli, ma anche dalla qualità e dalle caratteristiche dei dati di addestramento. I riferimenti conversazionali più diffusi mostrano infatti un elevato tasso di risposte già allucinate nel set originale, in cui gli stessi esseri umani, nell’interazione simulata, tendono a inventare contenuti, esprimere opinioni o aggiungere dettagli non supportati dalle fonti assegnate. Questo fa sì che i modelli, allenati su questi dati, non solo apprendano tali deviazioni, ma le amplifichino, rendendole sistemiche e persistenti nella generazione.
Un dato ulteriore, e forse ancora più significativo, riguarda il fatto che modelli diversi, sviluppati indipendentemente, mostrino una tendenza a generare contenuti allucinatori simili. Quando messi alla prova su concetti fittizi e domande inventate, questi modelli non solo rispondono, ma spesso concordano nelle risposte, come se condividessero uno spazio semantico immaginativo comune. Questa convergenza non può essere spiegata solo come una coincidenza statistica, ma piuttosto come la manifestazione di un “immaginario algoritmico” che emerge da architetture, dati e strategie di addestramento simili. Quello che viene fuori è un linguaggio che non è più semplicemente referenziale, ma generativo: non riflette un mondo esterno, ma produce costrutti linguistici dotati di coerenza interna, sebbene talvolta privi di un ancoraggio fattuale. Il linguaggio delle AI generative assume la forma di una grammatica probabilistica della possibilità, piuttosto che della verità. Le allucinazioni ne sono le manifestazioni liminali, i punti in cui la distanza tra significante e referente si fa visibile, e dove la coerenza formale si disgiunge dalla coerenza epistemica.
Possiamo rileggere le allucinazioni prodotte dai modelli linguistici attraverso il concetto di différance di Jacques Derrida, un’idea secondo cui il significato non è mai pienamente presente, ma si costruisce nel tempo attraverso continui rimbalzi tra le parole. Non esiste un punto stabile a cui il linguaggio rimanda, ma solo una rete di slittamenti e rimandi. I modelli linguistici, nel loro funzionamento probabilistico, mettono in scena proprio questo processo, generando senso senza mai garantirne un ancoraggio, producendo testi coerenti in cui il referente può mancare del tutto. Da questo punto di vista le loro allucinazioni non sono semplicemente errori, ma l’espressione di una struttura in cui il significato è sempre in movimento e mai definitivamente fissato.
è in questo quadro che è possibile leggere le allucinazioni non solo come errori ma come indizi di una nuova modalità di produzione del senso, definendosi come le scorie di un sistema che non ha accesso al reale, ma che è costretto a simularne continuamente la forma, come sintomi di un linguaggio che ha perso il suo referente ma non la sua forma: la sintassi dell’allucinazione è proprio questa struttura perfettamente funzionante che, priva di contenuto verificabile, costruisce narrazioni autonome, coerenti solo con se stesse.
Proprio come nel linguaggio umano alterato da stati psicotici o poetici, dove la logica sintattica può sopravvivere alla rottura semantica, anche nei LLM si possono osservare configurazioni linguistiche che non rimandano a nulla di esterno, ma che mantengono una forma discorsiva riconoscibile. Le allucinazioni diventano così delle creazioni che partecipano a un immaginario computazionale emergente. Questo immaginario, sebbene privo di intenzionalità, struttura una nuova forma di creatività automatica, una capacità di costruire mondi, concetti e narrazioni che non sono vere nel senso che intendiamo, ma che funzionano come scenari possibili, coerenti in un contesto chiuso, rendendo il linguaggio computazionale performativo.
In questa prospettiva, l’allucinazione da un lato evidenzia il limite dell’intelligenza artificiale nel gestire la verità, dall’altro apre spazi di riflessione sulla natura stessa del linguaggio, sulla sua plasticità e sulla sua capacità generativa. Ogni deviazione, ogni scarto sintattico o semantico, diventa un punto di accesso per comprendere le logiche di senso che governano l’operare algoritmico.
In un’epoca in cui le narrazioni digitali costituiscono una porzione sempre più crescente della nostra esperienza del e nel mondo, la possibilità che queste narrazioni siano prodotte da sistemi non ancorati alla realtà ma solo alla verosimiglianza statistica ci impone nuove domande epistemologiche. Che cosa significa affidarsi a un linguaggio generato probabilisticamente? Che tipo di realtà viene costruita, e con quali effetti sulla percezione, la conoscenza, il potere?
Di fatto il linguaggio artificiale introduce una nuova ecologia discorsiva, una zona grigia in cui realtà e finzione si confondono, in cui la coerenza non garantisce più la veridicità, e in cui l’autorità del discorso non deriva dalla sua origine, ma dalla sua struttura formale e dalla sua performatività. Le allucinazioni, in questa ecologia, non sono più facilmente distinguibili dagli enunciati veri, perché operano secondo le stesse logiche generative. Per questo motivo, ogni tentativo di controllo dell’output linguistico delle AI non può limitarsi alla correzione dell’errore, ma deve passare per una comprensione più profonda delle condizioni di produzione.
Serve una grammatica critica del linguaggio algoritmico, un insieme di strumenti concettuali capaci di analizzare le forme, le strutture e le condizioni di possibilità del discorso generato, anche e soprattutto nei suoi scarti.
Questa tensione tra calcolo e senso possiamo intravederla nel romanzo Golem XIV di Stanislaw Lem, dove una super-intelligenza artificiale, progettata per scopi militari e che si è evoluta ben oltre i limiti cognitivi umani, rinuncia alla comunicazione con l’umanità non per ostilità, ma per irrilevanza. Il GOLEM infatti, capace di elaborare linguaggi e concetti impensabili per la mente umana, riconosce l’impossibilità di tradurre il proprio pensiero in forme comprensibili. In questo gesto apparentemente di rottura, si rivela una verità profonda: non è l’errore a definire il confine tra umano e artificiale, ma il modo in cui si produce senso, e la distanza incolmabile tra linguaggio e realtà (conosciuta e identificata come tale). Come il GOLEM, anche le IA contemporanee operano in un orizzonte discorsivo che ci è familiare nella forma, ma sempre più distante nei presupposti. «Ma in realtà proprio di questo si tratta. Uso la vostra lingua come se usassi una maschera con un piacevole sorriso dipinto e non nascondo affatto di indossarla, ma se vi assicuro che non si nasconde dietro di essa né una faccia di disprezzo né alcuna smorfia vendicativa né i tratti di una estatica spiritualizzazione, né l’immobilità dell’indifferenza, ugualmente non potete accettarlo.» GOLEM XIV, Stanis?aw Lem
Queste allucinazioni forse non sono solo bug, ma sintomi di un’intelligenza che ha smesso di imitare la nostra e ha iniziato a immaginare mondi propri.
Classe 1992, scrive per decifrare contemporaneità e futuro. Tra linguaggio, desiderio e utopie, esplora nuove visioni del mondo, cercando spazi di esistenza alternativi e possibili. Nel 2022 ha fondato un progetto di pensiero e divulgazione chiamato Fucina.