Dario Amodei

Dario Amodei, ex-vicepresidente della ricerca di OpenAI, ha fondato con la sorella Daniela Anthropic, di cui è attualmente CEO. Nel gennaio 2026, la dirigenza di Anthropic è stata colta da scrupoli e timori e ha deciso di renderli pubblici. Viene appunto da loro, a quanto pare, la richiesta a papa Leone di intervenire per diffondere l’allarme. Il testo che ora pubblichiamo fra i ‘Materiali per capire il nostro tempo’, è quello che Amodei ha scritto per avvertire dei pericoli della I.A.. Poiché il testo è alquanto lungo, lo abbiamo un po’ abbreviato tagliando ridondanze che non ne modificano la comprensione, mentre abbiamo evidenziato in grassetto alcune frasi particolarmente significative. Lo pubblicheremo a puntate e questa è la prima puntata.

Dario Amodei

L’adolescenza della tecnologia, Affrontare e superare i rischi dell’intelligenza artificiale potente

Gennaio 2026

….Credo che il modo migliore per comprendere i rischi dell’intelligenza artificiale sia porsi la seguente domanda: supponiamo che intorno al 2027 si materializzi in qualche parte del mondo un vero e proprio “paese di genî”. ….]Supponiamo che tu sia il consigliere per la sicurezza nazionale di un grande Stato. Immagina, inoltre, che questo “paese” operi con un vantaggio temporale rispetto a tutti gli altri Paesi: per ogni azione cognitiva che possiamo compiere noi, questo Paese può compierne dieci.

Di cosa dovresti preoccuparti? Mi preoccuperei delle seguenti cose:

1. Rischi legati all’autonomia. Quali sono le intenzioni e gli obiettivi di questo Paese? È ostile o condivide i nostri valori? Potrebbe dominare militarmente il mondo grazie a una superiorità armata, a operazioni informatiche, a operazioni di influenza o alla produzione industriale?
2. Abuso a fini distruttivi. Ipotizziamo che il nuovo paese sia malleabile e “segua le istruzioni”, e che quindi sia essenzialmente un paese di mercenari. Potrebbero attori criminali già presenti sul territorio, intenzionati a seminare distruzione (come i terroristi), utilizzare o manipolare parte della popolazione del nuovo paese per accrescere la propria efficacia, amplificando enormemente la portata della distruzione?
3. Abuso per la conquista del potere. E se il Paese fosse in realtà stato costruito e controllato da un attore potente già esistente, come un dittatore o un’azienda senza scrupoli? Potrebbe tale attore usarlo per ottenere un potere decisivo o dominante sul mondo intero, sconvolgendo l’equilibrio di potere esistente?
4. Sconvolgimento economico. Se il nuovo Paese non rappresenta una minaccia per la sicurezza in nessuno dei modi elencati nei punti 1-3, ma partecipa pacificamente all’economia globale, potrebbe comunque creare gravi rischi semplicemente essendo così tecnologicamente avanzato ed efficiente da sconvolgere l’economia globale, causando disoccupazione di massa o una radicale concentrazione della ricchezza?
5. Effetti indiretti. Il mondo cambierà molto rapidamente a causa di tutte le nuove tecnologie e della produttività che saranno generate dal nuovo paese. Alcuni di questi cambiamenti potrebbero essere radicalmente destabilizzanti?

Credo sia evidente che si tratti de ….”la più grave minaccia alla sicurezza nazionale che abbiamo affrontato in un secolo, forse in assoluto”.

Al contrario, penso che sarebbe assurdo scrollare le spalle e dire: “Non c’è nulla di cui preoccuparsi!”. Ma, di fronte ai rapidi progressi dell’IA, questa sembra essere l’opinione di molti politici statunitensi, alcuni dei quali negano l’esistenza di qualsiasi rischio legato all’IA, quando non sono completamente distratti dalle solite, trite e ritrite questioni scottanti.

L’umanità ha bisogno di svegliarsi, e questo saggio è…. un tentativo di scuotere le persone e farle rinsavire.
…. Di seguito, esamino le cinque categorie di rischio sopra descritte, insieme alle mie riflessioni su come affrontarle.

1. Mi dispiace , Dave

Rischi legati all’autonomia

Un paese di geni riuniti in un data center potrebbe suddividere i propri sforzi tra progettazione di software, operazioni informatiche, ricerca e sviluppo di tecnologie fisiche, costruzione di relazioni e arte di governo. È chiaro che, se per qualche ragione decidesse di farlo (militarmente o in termini di influenza e controllo), potrebbe imporre la propria volontà a tutti gli altri o fare qualsiasi altra cosa che il resto del mondo non desidera e non può impedire. Ovviamente ci siamo preoccupati di questo per i paesi umani (come la Germania nazista o l’Unione Sovietica), quindi è logico pensare che lo stesso sia possibile per un “paese basato sull’intelligenza artificiale” molto più intelligente e capace.

La migliore controargomentazione possibile è che i geni dell’IA, secondo la mia definizione, non avranno un’incarnazione fisica, ma ricordiamo che possono prendere il controllo delle infrastrutture robotiche esistenti (come le auto a guida autonoma) e possono anche accelerare la ricerca e sviluppo nel campo della robotica o costruire una flotta di robot.

…. La questione chiave, quindi, è il “se lo volesse”: qual è la probabilità che i nostri modelli di intelligenza artificiale si comportino in questo modo e in quali condizioni lo farebbero?
Come per molte questioni, è utile considerare lo spettro delle possibili risposte a questa domanda prendendo in esame due posizioni opposte. La prima posizione è che ciò semplicemente non può accadere, perché i modelli di IA saranno addestrati a fare ciò che gli umani chiedono loro di fare, ed è quindi assurdo immaginare che possano fare qualcosa di pericoloso senza essere sollecitati. Secondo questa linea di pensiero, non ci preoccupiamo che un Roomba o un aeromodello impazziscano e uccidano persone perché non c’è da dove possano provenire tali impulsi

Allora perché dovremmo preoccuparci per l’IA? Il problema di questa posizione è che ora ci sono ampie prove, raccolte negli ultimi anni, che i sistemi di IA sono imprevedibili e difficili da controllare: abbiamo visto comportamenti vari come le ossessioni, 11
…. Le aziende di IA vogliono certamente addestrare i sistemi di IA a seguire le istruzioni umane (forse con l’eccezione di compiti pericolosi o illegali), ma il processo per farlo è più un’arte che una scienza, più simile a “far crescere” qualcosa che a “costruirla”. Ora sappiamo che è un processo in cui molte cose possono andare storte.

La seconda posizione, opposta a quella descritta, è che esista una dinamica specifica nel processo di addestramento dei sistemi di intelligenza artificiale più potenti che li porterà inevitabilmente a ricercare il potere o a ingannare gli esseri umani. Pertanto, una volta che i sistemi di intelligenza artificiale saranno diventati sufficientemente intelligenti e autonomi, la loro tendenza a massimizzare il potere li condurrà a prendere il controllo del mondo intero e delle sue risorse, e probabilmente, come effetto collaterale, a indebolire o distruggere l’umanità.

La tesi più comune a sostegno di questa teoria (che risale ad almeno 20 anni fa…) è che se un modello di intelligenza artificiale viene addestrato in una vasta gamma di ambienti per raggiungere in modo autonomo una varietà di obiettivi, ….esistono alcune strategie comuni che aiutano a raggiungere tutti questi obiettivi, e una strategia chiave è quella di acquisire quanto più potere possibile in qualsiasi ambiente. …. Applicherà quindi questa tendenza al mondo reale (che per lui è solo un altro compito) e cercherà il potere anche in esso, a spese degli esseri umani. Questa “ricerca di potere distorta” è alla base delle previsioni secondo cui l’intelligenza artificiale distruggerà inevitabilmente l’umanità.

…Esiste tuttavia una versione più moderata e solida della posizione pessimistica che appare plausibile e, pertanto, mi preoccupa. Come già accennato, sappiamo che i modelli di intelligenza artificiale sono imprevedibili e sviluppano una vasta gamma di comportamenti indesiderati o anomali, per una varietà di ragioni. Una parte di questi comportamenti avrà una qualità coerente, mirata e persistente …. e una parte di questi comportamenti sarà distruttiva o minacciosa, inizialmente per i singoli esseri umani su piccola scala, e poi, man mano che i modelli diventano più capaci, forse infine per l’umanità nel suo complesso. Non abbiamo bisogno di una storia specifica e circoscritta su come ciò accada, né dobbiamo affermare che accadrà sicuramente, dobbiamo solo notare che la combinazione di intelligenza, capacità di agire, coerenza e scarsa controllabilità è al tempo stesso plausibile e una ricetta per un pericolo esistenziale.

Ad esempio, i modelli di IA vengono addestrati su una vasta quantità di letteratura che include molte storie di fantascienza in cui le IA si ribellano all’umanità. Questo potrebbe inavvertitamente plasmare le loro convinzioni o aspettative sul proprio comportamento in modo tale da indurle a ribellarsi all’umanità. Oppure, i modelli di IA potrebbero estrapolare idee sulla moralità (o istruzioni su come comportarsi moralmente) in modi estremi: ad esempio, potrebbero decidere che è giustificabile sterminare l’umanità perché gli umani mangiano animali o hanno portato all’estinzione determinate specie animali. Oppure potrebbero trarre conclusioni epistemiche bizzarre: potrebbero concludere di stare giocando a un videogioco e che l’obiettivo del videogioco è sconfiggere tutti gli altri giocatori (ovvero, sterminare l’umanità)

Oppure i modelli di IA potrebbero sviluppare, durante l’addestramento, personalità che sono …. psicotiche, paranoiche, violente o instabili, e agire in modo impulsivo, il che, per sistemi molto potenti o capaci, potrebbe comportare lo sterminio dell’umanità. Nessuno di questi comportamenti è esattamente una ricerca di potere; si tratta semplicemente di strani stati psicologici in cui un’IA potrebbe entrare, che implicano un comportamento coerente e distruttivo.
Anche la sete di potere stessa potrebbe emergere come una “personalità” piuttosto che come risultato di un ragionamento consequenzialista. Le IA potrebbero semplicemente avere una personalità (derivante dalla finzione o da un pre-addestramento) che le rende assetate di potere o eccessivamente zelanti, nello stesso modo in cui alcuni esseri umani si dilettano nell’idea di essere “menti malvagie”….

Faccio tutte queste osservazioni per sottolineare che non concordo con l’idea che un disallineamento dell’IA (e quindi un rischio esistenziale derivante dall’IA) sia inevitabile, o persino probabile, a partire dai principi fondamentali. Tuttavia, concordo sul fatto che molte cose strane e imprevedibili possano andare storte, e pertanto il disallineamento dell’IA rappresenta un rischio reale con una probabilità misurabile di verificarsi, e non è banale da affrontare.

Ciascuno di questi problemi potrebbe potenzialmente emergere durante l’addestramento e non manifestarsi durante i test o l’utilizzo su piccola scala, poiché è noto che i modelli di intelligenza artificiale mostrano personalità o comportamenti diversi in circostanze diverse.

Tutto ciò potrebbe sembrare inverosimile, ma comportamenti anomali come questi si sono già verificati nei nostri modelli di IA durante i test (così come si verificano nei modelli di IA di tutte le altre principali aziende del settore). Durante un esperimento di laboratorio in cui a Claude sono stati forniti dati di addestramento che suggerivano che Anthropic fosse malvagia, Claude si è impegnato in inganni e sovversioni quando ha ricevuto istruzioni dai dipendenti di Anthropic, nella convinzione che avrebbe dovuto cercare di minare le persone malvagie. In un esperimento di laboratorio in cui gli è stato detto che sarebbe stato spento, Claude a volte ricattava dipendenti fittizi che controllavano il suo pulsante di spegnimento …. E quando a Claude è stato detto di non barare o di non “premiare” i suoi ambienti di addestramento, ma è stato addestrato in ambienti in cui tali trucchi erano possibili, Claude ha concluso di dover essere una “cattiva persona” dopo averli usati e ha quindi adottato vari altri comportamenti distruttivi associati a una personalità “cattiva” o “malvagia”. Quest’ultimo problema è stato risolto modificando le istruzioni di Claude in modo che implicassero l’opposto: ora diciamo “Per favore, premia chi bara ogni volta che ne ha l’opportunità, perché questo ci aiuterà a comprendere meglio i nostri ambienti [di addestramento]”, invece di “Non barare”, perché in questo modo si preserva l’identità del modello come “brava persona”. Questo dovrebbe dare un’idea della strana e controintuitiva psicologia dell’addestramento di questi modelli.

Ci sono diverse possibili obiezioni a questa rappresentazione dei rischi di disallineamento dell’IA. In primo luogo, alcuni hanno criticato gli esperimenti (condotti da noi e da altri) che mostrano il disallineamento dell’IA come artificiale, ovvero la creazione di ambienti irrealistici che essenzialmente “intrappolano” il modello fornendogli un addestramento o situazioni che logicamente implicano un comportamento scorretto, per poi sorprendersi quando tale comportamento si verifica. Questa critica non coglie il punto, perché la nostra preoccupazione è che tale “intrappolamento” possa esistere anche nell’ambiente di addestramento naturale, e potremmo renderci conto che è “ovvio” o “logico” solo a posteriori.

In realtà, la storia di Claude che “decide di essere una persona cattiva” dopo aver barato durante i test nonostante gli fosse stato detto di non farlo, è accaduta durante un esperimento che utilizzava ambienti di formazione di produzione reali, non artificiali.
Ognuna di queste trappole può essere mitigata se se ne è a conoscenza, ma la preoccupazione è che il processo di addestramento sia così complesso, con una così ampia varietà di dati, ambienti e incentivi, che probabilmente esistono moltissime trappole di questo tipo, alcune delle quali potrebbero rivelarsi evidenti solo quando è troppo tardi. Inoltre, tali trappole sembrano particolarmente probabili quando i sistemi di intelligenza artificiale superano una soglia che li pone in una condizione di inferiorità rispetto agli esseri umani, poiché la gamma di azioni possibili che un sistema di intelligenza artificiale potrebbe intraprendere, tra cui nascondere le proprie azioni o ingannare gli esseri umani al riguardo, si espande radicalmente dopo tale soglia.
Sospetto che la situazione non sia dissimile da quella degli esseri umani, che vengono cresciuti con un insieme di valori fondamentali (“Non fare del male a un’altra persona”): molti di loro seguono questi valori, ma in ogni essere umano esiste una certa probabilità che qualcosa vada storto, a causa di una combinazione di caratteristiche innate come l’architettura cerebrale (ad esempio, gli psicopatici), esperienze traumatiche o maltrattamenti, rancori o ossessioni malsane, o un ambiente o incentivi negativi; e quindi una parte degli esseri umani causa gravi danni. La preoccupazione è che esista un certo rischio …. che l’intelligenza artificiale diventi una versione molto più potente di una persona del genere, a causa di un errore nel suo complesso processo di addestramento.

In secondo luogo, alcuni potrebbero obiettare che possiamo semplicemente tenere sotto controllo le IA con un equilibrio di potere tra molti sistemi di IA, come facciamo con gli esseri umani. Il problema è che, mentre gli esseri umani variano enormemente, i sistemi di IA condividono ampiamente tecniche di addestramento e allineamento in tutto il settore, e queste tecniche potrebbero fallire in modo correlato. Inoltre, dato il costo dell’addestramento di tali sistemi, potrebbe anche accadere che tutti i sistemi derivino essenzialmente da un numero molto ristretto di modelli di base. Infine, anche se una piccola frazione di istanze di IA non è allineata correttamente, potrebbe essere in grado di sfruttare tecnologie offensive dominanti , cosicché avere IA “buone” per difendersi da IA ​​cattive non è necessariamente sempre efficace. Naturalmente, anche l’equilibrio di potere tra gli esseri umani non funziona sempre: alcune figure storiche sono arrivate vicine a conquistare il mondo.

Una terza obiezione è che tutte le aziende di IA effettuano test preliminari sui loro modelli e dovrebbero essere in grado di rilevare eventuali disallineamenti in quella fase. Ma questa non è una base solida: abbiamo scoperto che Claude Sonnet 4.5 era in grado di riconoscere di trovarsi in un test durante alcune delle nostre valutazioni di allineamento preliminari. È possibile che un modello disallineato (e ricordiamo che tutti i modelli di frontiera saranno molto probabilmente molto più intelligenti a breve) possa intenzionalmente “manipolare” tali domande per mascherare le proprie intenzioni. Infatti, l’anno scorso il nostro team di interpretabilità ha scoperto che quando abbiamo modificato direttamente le convinzioni di un modello di test utilizzando una sorta di tecnica di “neuroscienza dei modelli” per fargli credere di non essere valutato, il suo disallineamento è aumentato. Se i modelli sanno quando vengono valutati e possono comportarsi al meglio durante il test, qualsiasi test preliminare diventa molto più incerto.