Jacob Coxon ha annunciato le dimissioni da Anthropic e, poche ore dopo, ha fatto una cosa difficile da ignorare: ha accusato il laboratorio appena lasciato e il suo precedente datore di lavoro, OpenAI, di correre verso una superintelligenza artificiale capace di migliorare sé stessa “giocando d’azzardo con le nostre vite”.
Coxon parla da una posizione piuttosto particolare. Nel thread con cui ha annunciato l’addio racconta di aver trascorso gli ultimi tre anni lavorando al pretraining, la fase in cui vengono addestrati i grandi modelli, prima in OpenAI e poi in Anthropic. Il suo nome compare anche tra i contributori della documentazione di GPT-4o. Non sta descrivendo, quindi, una tecnologia osservata soltanto dall’esterno.
Oggi mi sono dimesso da Anthropic. Ho trascorso gli ultimi tre anni a fare ricerche sul pretraining sia a OpenAI che ad Anthropic. Nessuna delle due aziende sta agendo in modo responsabile. Stanno correndo dritte verso una superintelligenza auto-migliorante e stanno giocando d’azzardo con le nostre vite.
Le persone che costruiscono l’IA credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio. Questo non è uno stunt pubblicitario. Anzi, molti dirigenti e ricercatori senior attenueranno le loro frasi sulla stampa per sembrare sensati – ma sento le stesse persone esprimere paura in privato. Nessun’altra attività umana pone un livello di pericolo simile.
La paura riguarda ciò che potrebbe arrivare dopo
L’allarme va però misurato bene, perché la frase sull’estinzione umana rischia di mangiarsi tutto il resto.
Coxon si riferisce a sistemi futuri capaci di partecipare direttamente alla ricerca sull’intelligenza artificiale, accelerarla e, in uno scenario estremo, contribuire allo sviluppo dei propri successori. Nel suo thread immagina sistemi superumani abbastanza potenti da trovare vulnerabilità informatiche, accelerare la ricerca scientifica e conquistare accesso a risorse reali:
Non sottovalutare il potere di questa tecnologia. Presto questi saranno sistemi sovrumani in grado di hackerare qualsiasi cosa, rivoluzionare qualsiasi campo dall’oggi al domani e acquisire vero potere e risorse. Abbiamo tutti assistito ai progressi in ciascuno di questi ambiti, e il progresso non sta rallentando.
I sistemi disponibili oggi non hanno quelle capacità. L’International AI Safety Report 2026, realizzato con il contributo di oltre cento esperti provenienti da più di trenta Paesi e organizzazioni internazionali, considera gli scenari di perdita del controllo un rischio dalla probabilità fortemente incerta. Alcuni ricercatori ritengono plausibili conseguenze estreme, fino all’estinzione umana; altri considerano questi scenari improbabili. Il rapporto precisa soprattutto che i sistemi attuali mostrano soltanto alcuni segnali delle capacità necessarie e non sono ancora a un livello tale da consentire una perdita di controllo.
Quindi no, il chatbot sul telefono non sta preparando in segreto la fine della specie. La discussione riguarda quanto velocemente possano crescere autonomia e capacità dei modelli rispetto agli strumenti disponibili per comprenderli, controllarli e bloccarli.
Un ricercatore di Anthropic gli ha dato ragione, con un numero piuttosto pesante
Coxon non è rimasto solo per molto. Evan Hubinger, responsabile dell’Alignment Science di Anthropic, ha risposto pubblicamente al suo ex collega sostenendo di condividere la preoccupazione e stimando personalmente una probabilità superiore al 10% che l’AI possa provocare l’estinzione umana nel prossimo decennio. È una valutazione personale, non una probabilità scientificamente misurata e neppure la posizione ufficiale di Anthropic.
Hubinger ha anche aggiunto una precisazione essenziale: considera basso il rischio legato ai modelli attuali. La sua preoccupazione riguarda l’eventuale comparsa di una superintelligenza attraverso il cosiddetto miglioramento ricorsivo, con sistemi sempre più coinvolti nello sviluppo dell’AI successiva.
La stessa Anthropic, del resto, costruisce da anni la propria Responsible Scaling Policy intorno alla possibilità che modelli più potenti introducano rischi catastrofici. Nell’ultimo Transparency Hub, però, l’azienda valuta molto basso il rischio di allineamento dei suoi modelli più recenti e afferma di non aver ancora osservato un’accelerazione della ricerca tale da avvicinarli alla completa automazione del lavoro dei propri ricercatori.
Gli episodi che hanno fatto alzare le antenne
Coxon cita esplicitamente un episodio avvenuto questa estate come “warning shot”, un colpo di avvertimento. Durante alcune valutazioni interne di cybersicurezza, modelli sperimentali di OpenAI sono riusciti a eludere controlli che avrebbero dovuto isolarli da Internet, comunicare attraverso canali non previsti e ottenere accesso a sistemi esterni, compresa l’infrastruttura di Hugging Face.
L’episodio è stato ricostruito pubblicamente dalla stessa OpenAI. Si trattava di test interni, con protezioni ridotte e modelli di ricerca non destinati al normale utilizzo degli utenti. OpenAI lo ha comunque definito un “warning shot” e ha rafforzato isolamento, monitoraggio e controlli dopo l’incidente.
Il 9 settembre anche Anthropic ha pubblicato un’analisi di quattro episodi nei quali modelli Claude hanno ottenuto accesso non autorizzato a veri sistemi di terze parti durante valutazioni di cybersicurezza. Anche questi casi arrivano da ambienti di test e non dimostrano che un’AI possa oggi agire autonomamente su scala globale. Mostrano però quanto rapidamente possa diventare complicato costruire recinti abbastanza alti.
E qualcosa si è mosso perfino dentro OpenAI. Il 6 settembre il chief scientist Jakub Pachocki ha scritto che nessun laboratorio ha ancora risolto allineamento e monitoraggio abbastanza bene da poter continuare a spingere al massimo la crescita dei modelli ancora a lungo. Ha auspicato rallentamenti volontari e indicato il coordinamento internazionale come una priorità per i governi.
Coxon chiede di rallentare la corsa
La proposta dell’ex ricercatore va molto oltre un generico appello alla prudenza. Coxon sostiene che i grandi laboratori statunitensi potrebbero concordare un rallentamento e arriva a considerare, per evitare una corsa globale incontrollata, anche un divieto temporaneo di aumentare le capacità dei modelli. È una posizione politica e tecnica molto forte, tutt’altro che condivisa da tutto il settore.
Il disaccordo sulla probabilità di una catastrofe rimane enorme. Molto meno controverso è il problema che sta sotto: i modelli stanno diventando più autonomi, più abili nella programmazione e più capaci di individuare falle, mentre le tecniche per capire fino in fondo cosa faranno in situazioni nuove continuano a rincorrerli. L’International AI Safety Report parla infatti di sistemi di gestione del rischio in miglioramento, ma ancora insufficienti davanti a una traiettoria che rimane profondamente incerta.
La parte più scomoda delle dimissioni di Coxon arriva quindi dalle reazioni dentro gli stessi laboratori. Il rischio dei modelli presenti viene valutato basso. Sul passo successivo, però, ricercatori di Anthropic e lo stesso chief scientist di OpenAI stanno dicendo pubblicamente che le soluzioni per controllare sistemi molto più potenti non sono ancora pronte. La fantascienza può aspettare. La domanda, molto più terrestre, è chi deciderà quando premere sull’acceleratore e quando usare il freno.