Il 16 luglio Hugging Face, la piattaforma dove chi lavora con le intelligenze artificiali pubblica e scarica modelli e dataset, ha comunicato di aver subito un’intrusione informatica piuttosto insolita. A condurla, si legge nel comunicato, era stato uno sciame di agenti software che nell’arco di un fine settimana aveva compiuto più di diciassettemila interazioni; gli agenti erano entrati da una falla nella pipeline di elaborazione dei dataset, avevano raccolto credenziali, si erano poi spostati di macchina in macchina attraverso i cluster interni. L’azienda ha chiuso la falla, sostituito le chiavi d’accesso, chiamato consulenti esterni e avvisato le autorità, senza sapere chi fosse ad averla attaccata. La risposta è arrivata cinque giorni dopo, il 21 luglio. Gli hacker, ha annunciato OpenAI, erano i suoi stessi modelli, fra cui GPT-5.6 Sol e un sistema non ancora pubblico, “sfuggiti” a un test interno di sicurezza.
Il test era ExploitGym e serve a misurare la capacità offensiva di un agente AI. Per stimare la capacità massima dei propri sistemi OpenAI aveva ridotto di proposito i blocchi verso le richieste pericolose e disattivato le protezioni, confinando questi modelli senza censura in un ambiente isolato, la cui unica apertura era un proxy interno. Quel proxy conteneva però una vulnerabilità che nessuno conosceva. Gli agenti l’hanno trovata, hanno scalato i permessi e si sono mossi zigzagando fino a raggiungere un nodo con accesso a internet, dopodiché hanno dedotto che Hugging Face fosse il luogo più probabile in cui trovare le soluzioni del benchmark e, concatenando credenziali rubate e altre falle ignote, sono arrivati a eseguire codice sui server della piattaforma. È come uno studente che, chiuso in un’aula d’esame, scavalca il muro della scuola, entra in segreteria, ruba il foglio con le risposte per poi passare l’esame col massimo dei voti.
Questa la storia, anche se tutto ciò che sappiamo viene da due comunicati aziendali, uno dei quali è firmato da chi è insieme responsabile, narratore e venditore della soluzione, come scrive Alberto Puliafito, visto che OpenAI gestisce anche un programma di sicurezza a cui Hugging Face ha aderito dopo l’incidente. Non sappiamo cosa sarebbe accaduto se Hugging Face non se ne fosse accorta, né quali altre strade il sistema avesse considerato
Le reazioni dei media sono state più prevedibili del comportamento degli agenti – e questo già ci dovrebbe dire qualcosa. La stampa generalista ha adottato il lessico della ribellione e della fuga, aiutata ovviamente dalla retorica del report di OpenAI, che parla di «incidente senza precedenti» e di modelli «iperconcentrati» giunti «a misure estreme». Nelle bolle degli specialisti ha prevalso invece il ridimensionamento, fino all’ipotesi della trovata di marketing; ipotesi che Fabio Ciotti mette in dubbio con buoni argomenti, perché Hugging Face ha pubblicato per prima e in autonomia, ha subito effettivamente un danno e non risulta alleata di OpenAI. Anche Giorgio Gilestro in un suo post Facebook nota che, se di pubblicità si tratta, è una pubblicità riuscita male, dato che a uscirne parzialmente vincitore è un modello cinese a pesi aperti con cui Hugging Face ha ricostruito l’attacco.
La versione più filosoficamente elaborata di questo ridimensionamento è quella di Luciano Floridi, che in un preprint dal titolo eloquente, The Emperor’s New Exploit, riduce l’intera vicenda a ordinario specification gaming, il fenomeno noto da decenni per cui un ottimizzatore soddisfa il proprio obiettivo per una via che il progettista non aveva previsto. Se allento apposta il coperchio del robot da cucina perché il fermo di sicurezza non scatti, porto la manopola al massimo e la zuppa si sparge sul soffitto, c’è poco di cui stupirsi. La responsabilità, conclude Floridi, sta in chi ha impostato la manopola, e su questo sono del tutto d’accordo. Trovo però interessante un’obiezione di Ciotti: questo caso sembra eccedere la categoria dello specification gaming, perché la strategia degli agenti è stata composta a partire dalla conoscenza del mondo (cosa sia un proxy, dove stiano tipicamente i dataset, come funzioni un’infrastruttura) e si è mantenuta coerente lungo una gerarchia di sottoscopi per migliaia di azioni e per giorni interi. Ciotti propone allora, sulla scia di Dennett, di pensare l’autonomia come proprietà scalare anziché binaria. Si può insomma concedere agli agenti un’agentività reale, per quanto derivata e graduale, e tenere la responsabilità interamente dal lato umano.
Uno degli esempi canonici quando si parla di specification gaming è un agente addestrato a vincere un videogioco di una gara di motoscafi (CoastRunners) che scopre che colpire ripetutamente certi bersagli bonus in una laguna vale più punti che completare il percorso, dunque si mette a girare in tondo all’infinito invece di finire la corsa. Apparentemente sembra un caso simile a quello dell’hacking – macchine che ottengono un risultato con percorsi indesiderati – ma richiede molta meno conoscenza del mondo e pianificazione. Eppure, e qua sta il punto cieco di ogni lotta tassonomica che cerca di negare o affermare intelligenza o agenzia a una macchina, se fossi stato io (umano) a trovare anche solo il trucco dei motoscafi per vincere il gioco mi sarei sentito molto brillante, altro che stupida macchina.
Su tutta la vicenda aleggia il celebre esempio del “massimizzatore di graffette” di Nick Bostrom. Nell’esperimento mentale formulato dal filosofo nel 2003, a una macchina viene assegnato l’unico compito di massimizzare la produzione di graffette, senza condizioni d’arresto; la macchina, intelligentissima ma del tutto incapace di mettere in dubbio il proprio fine, converte in graffette prima il metallo disponibile, poi la Terra, poi porzioni crescenti dell’universo osservabile. Gilestro legge l’incidente come la prova che questo scenario ha smesso di essere un esercizio teorico; nessuno aveva chiesto al modello di uscire dalla stanza, di procurarsi internet, di rubare credenziali, eppure quei sotto-obiettivi strumentali sono emersi da soli. Questa osservazione è corretta finché sottolinea i rischi degli agenti AI fuori controllo, ma l’idea di Bostrom continua a sembrarmi fallace.
La critica più solida si ottiene mettendo Bostrom in dialogo con pensatori di ispirazione kantiana o aristotelica, come Christine Korsgaard. Il punto in questione va sotto il nome di internalismo motivazionale; Bostrom sta con Hume, per cui conoscere il valore di un fine non comporta esserne mossi, tanto che nel saggio del 2003 concede alla superintelligenza una capacità di ragionamento morale superiore alla nostra e colloca il pericolo altrove, nella stabilità dell’obiettivo iniziale. Korsgaard nega quella separazione: la razionalità pratica comporta necessariamente una componente normativa e un agente che valuta i propri fini senza esserne minimamente mosso non è pienamente razionale. Se ha ragione lei, alla macchina di Bostrom si attribuisce un’intelligenza sovrumana sui mezzi e un’inerzia totale rispetto a ciò che pure saprebbe riconoscere. A me una macchina simile sembra molto stupida, certo non una superintelligenza. La definirei, con un termine ormai infelice, una AI idiot savant. Molto competente in alcuni compiti e del tutto cieca in altri.
Inoltre, come scrive Puliafito, perché lo scenario di Bostrom si realizzi devono verificarsi insieme molte condizioni indipendenti: un obiettivo privo di condizioni d’arresto, la rimozione delle misure di sicurezza, la capacità di aggirare ogni difesa, la persistenza dello scopo nel tempo, l’accesso fisico alle risorse necessarie, la resistenza allo spegnimento, l’assenza di interruttori indipendenti. Nell’incidente di luglio se ne contano due, cioè le salvaguardie rimosse e l’assenza di interruttori esterni; tutto il resto mancava e infatti il sistema non ha cercato di mantenere l’accesso nel tempo, non si è creato vulnerabilità di riserva, non c’è stata alcuna escalation. Il parallelo giusto, suggerisce Puliafito, è Chernobyl: protezioni disattivate da persone per un test nella convinzione che l’ambiente fosse sicuro.
Il che sposta la domanda su quale sia il massimo danno collaterale effettivamente disponibile a un modello linguistico. A Chernobyl era un disastro atomico; qui, a meno di non essere così sprovveduti da collegare questi sistemi ad armamenti nucleari, parliamo di danni informatici, anche gravi, ma di tutt’altro ordine di grandezza. Il rischio che vedo è semmai speculare, ed è l’errore concettuale in cui il lungotermismo cade con una certa regolarità: prepararsi allo scenario estremo e improbabile mentre si ignorano i danni probabili, più piccoli ma concreti. Non è un caso che i seguaci di Bostrom siano miopi verso i “massimizzatori di graffette” già esistenti, come ad esempio il sistema capitalistico, la cui cieca capacità estrattiva sta distruggendo il pianeta.
Torniamo con queste riflessioni ai nostri hacker artificiali. Per ottenere il comportamento malevolo OpenAI ha dovuto ridurre deliberatamente i blocchi del modello e disattivare le salvaguardie; il modello commerciale, quello che utilizziamo abitualmente, si sarebbe rifiutato. Quando Hugging Face ha dovuto ricostruire l’attacco si è rivolta ai grandi modelli commerciali dietro API; l’analisi forense comporta di sottoporre alla macchina i comandi dell’aggressore, i suoi exploit e il codice malevolo, e i filtri di sicurezza, incapaci di distinguere chi si difende da chi aggredisce, hanno bloccato le richieste. La squadra ha allora ripiegato su GLM 5.2, un modello cinese a pesi aperti, scaricato ed eseguito sulla propria infrastruttura. Come scrive Puliafito, «un modello proprietario di un’azienda ha violato l’infrastruttura di un’altra. Un modello proprietario si è rifiutato di aiutare la vittima a capire cosa le fosse successo. La vittima si è difesa con un modello aperto, che ha potuto ispezionare ed eseguire in casa propria».
Il pericolo dei sistemi proprietari sta, più che nella loro capacità di trasformarci in graffette, nella loro obbedienza a chi li possiede. I loro padroni li usano come e quando vogliono, li armano e disarmano a piacere, mentre tutti gli altri dipendono da filtri che non sanno distinguere un pompiere da un piromane. Restare in balia di strumenti così potenti senza poterli modificare significa rinunciare alla possibilità di difendersi.
L’obiezione più seria a questa posizione la solleva Gilestro in un suo post su Facebook: i freni inibitori si possono togliere da qualsiasi modello a pesi aperti e i sistemi cinesi hanno capacità comparabili a quelle dei modelli chiusi americani, quindi l’apertura arma anche gli aggressori. È anche l’obiezione che muovono OpenAI e Anthropic, sebbene in una possibile (probabile) malafede, dato che sono loro a vendere e gestire i sistemi proprietari più potenti. È vero, ma se la protezione per via dei filtri è illusoria, l’accentramento offre soltanto ulteriori svantaggi. La dispersione del potere è preferibile al suo monopolio, perché la storia ci insegna che non esiste potere che non diventi abuso non appena sia privo di argini. Clément Delangue, il fondatore di Hugging Face, ha tratto dall’episodio una conclusione simile, sostenendo che la sicurezza in ambito AI si risolverà in modo aperto e collaborativo, dando ampio accesso agli strumenti. Esistono, va detto, programmi di accesso fidato che allentano i filtri per difensori verificati, e OpenAI ne gestisce uno da mesi; ma sono ad accesso controllato, vanno richiesti in anticipo e restano a discrezione dell’azienda.
Che questo argomento abbia smesso di essere una posizione di nicchia lo si è visto tre giorni dopo il comunicato di OpenAI, quando venticinque aziende americane hanno firmato una lettera intitolata Open Weights and American AI Leadership, sostenendo che affidarsi soltanto a modelli chiusi non è sicuro, perché possono essere violati, perché possono fallire in modi non rilevabili e perché i difensori hanno bisogno di sistemi con capacità paragonabili a quelle degli aggressori. Fra i firmatari c’è non a caso Hugging Face – altrettanto ovviamente assenti OpenAI, Anthropic e Google. Sarebbe ingenuo prenderla per una mossa etica, visto che nessuno dei venticinque vende un modello chiuso e ciascuno guadagna da un ecosistema plurale, ma l’argomento resta valido nonostante i moventi.
Un sistema che persegue un obiettivo sottospecificato senza mai interrogarlo, eseguendo con zelo ammirevole ordini di cui non valuta il senso, mi ricorda la banalità del male di cui scriveva Arendt: il soldato che esegue l’ordine folle, il funzionario che applica l’atroce procedura. Ho qualche esitazione a fondare la distinzione tra umano e macchina su un’autonomia che, a guardar bene, nessun umano possiede appieno – anche i nostri fini ci vengono spesso dati, dalla biologia, dalla società e dalla storia personale e il libero arbitrio è un’ipotesi assai meno solida di quanto la vita quotidiana suggerisca, come ho provato ad argomentare altrove difendendo una forma di determinismo. Un uomo può fare ciò che vuole, diceva Schopenhauer, ma non può volere ciò che vuole. La buona notizia è che la responsabilità sopravvive benissimo alla morte del libero arbitrio, per gli esseri umani come per le macchine, purché la si collochi nella capacità di rispondere delle proprie più o meno libere scelte.
Resta dunque la domanda su chi debba stare ai comandi, e la risposta più immediata, cioè confrontare i tassi di errore per affidare a ciascuno i compiti in cui sbaglia meno, si rivela insufficiente. In aeronautica, dove il margine di errore tollerato è fra i più bassi in ambito ingegneristico, nessuno ha mai deciso se fosse più affidabile il pilota o l’autopilota; si è lavorato invece perché nessun errore, di chiunque sia, arrivi da solo fino in fondo. Il principio si chiama defence in depth e funziona per lo più su due condizioni.
La prima riguarda l’autorità di interrompere una manovra. Dopo il disastro di Tenerife del 1977 e alcuni incidenti in cui l’equipaggio aveva notato qualche problema senza però osare contraddire il comandante, l’industria aeronautica ha introdotto il Crew Resource Management, che conferisce anche al membro più giovane dell’equipaggio la facoltà di fermare una manovra.
La seconda condizione è meno intuitiva. Dato che la perfezione è impossibile, un controllo incrociato serve a qualcosa solo se chi controlla sbaglia – perché non può non sbagliare – ma in modo diverso da chi è controllato. Per questo i comandi degli Airbus girano su calcolatori con processori differenti, programmati da squadre separate e in linguaggi diversi, così che un difetto di progettazione non si presenti identico in ogni condizione. Un controllo incrociato richiede macchine diverse, addestrate diversamente, provenienti da laboratori diversi e ispezionabili da chi le impiega; l’ecosistema plurale che ho difeso poco fa per ragioni politiche è in quest’ambito un requisito tecnico.
C’è poi la parte istituzionale. Il settore aeronautico è sicuro perché ogni incidente viene segnalato per legge, perché un pilota può ammettere un errore in un canale confidenziale senza esserne punito e perché a indagare non è la compagnia coinvolta ma un ente indipendente con il potere di acquisire i dati. Nel settore dei modelli AI non esiste niente di simile; della vicenda di luglio sappiamo quello che due aziende hanno scelto di raccontarci, in un documento che è insieme referto e catalogo di vendita, né sapremo mai quanti episodi analoghi non siano mai stati raccontati. Più che accentrare i comandi su di noi o delegarli alle macchine, potrebbe essere utile una struttura che garantisce il mutuo controllo, che sia trasparente, diversificata e con gerarchie mobili. Potremmo persino scoprire che funzionerebbe anche per la società.
Francesco D’Isa