Negli ultimi dodici anni mi sono dedicato all’intelligenza artificiale perché credo che possa migliorare drasticamente la qualità della vita umana. Ho scritto spesso di questi incredibili benefici: credo che l’IA potrebbe curare la maggior parte delle principali malattie nei prossimi 5-10 anni, accelerare notevolmente la crescita economica, creare un mondo di abbondanza e opportunità e inaugurare una rinascita della democrazia e della libertà. ….
Ma come molte tecnologie prima di essa, l’IA comporta dei rischi, e poiché si tratta di una tecnologia così potente, questi rischi sono seri. Ne ho scritto molto anch’io. Tra questi figurano il rischio di perdere il controllo dei sistemi di IA , l’uso improprio dell’IA per attacchi informatici e bioterrorismo, e gravi sconvolgimenti economici. Una corsa al ribasso, alimentata da incentivi commerciali, può rendere questi rischi ancora più acuti.
Insieme ai miei co-fondatori e dipendenti, mi sono confrontato con questa dualità di rischio e beneficio fin dagli albori di Anthropic. Non sviluppare la tecnologia priverebbe l’umanità di benefici o, più semplicemente, metterebbe l’IA nelle mani di poteri autoritari, mentre svilupparla troppo in fretta sarebbe sconsiderato. Abbiamo cercato una via di mezzo: dimostrare che è possibile sviluppare con cautela e avere successo commerciale, e fare della sicurezza un elemento su cui le aziende di IA competono. In altre parole, creare una corsa verso la vetta. Abbiamo sempre dedicato una parte sostanziale dei nostri sforzi allo studio, all’analisi e all’informazione del pubblico sui rischi dell’IA, nonché alla promozione di una regolamentazione ponderata dell’IA, anche quando questo ci ha attirato accuse di sensazionalismo, pessimismo o di strumentalizzazione normativa. Abbiamo cercato di dare priorità alla cautela rispetto alla velocità e alla prudenza rispetto al profitto.
Negli ultimi mesi, però, mi sono convinto che affrontare appieno i rischi richieda ancora più prudenza: non solo investire nella prevenzione dei rischi, ma anche dosare il ritmo di sviluppo delle capacità in modo che la prevenzione abbia il tempo di adeguarsi. Dobbiamo rallentare il passo con cui miglioriamo le capacità dei modelli di intelligenza artificiale. I progressi sembreranno comunque rapidi, e dobbiamo fare un uso oculato del tempo che guadagniamo. Due cose mi hanno convinto.
La mia prima preoccupazione è che, all’incirca dall’estate scorsa, l’intelligenza artificiale si sta evolvendo a un ritmo drasticamente più rapido, principalmente grazie alla sua crescente capacità di sviluppare la prossima generazione di IA. Questa dinamica è chiamata auto-miglioramento ricorsivo e sta iniziando a manifestarsi in tutto il settore, compresa Anthropic, come abbiamo descritto noi e altri. Se non controllata, potrebbe superare la nostra capacità di comprendere e controllare questi sistemi, pertanto deve essere perseguita con estrema cautela, se non addirittura evitata del tutto.
La mia seconda preoccupazione riguarda l’incidente OpenAI-Hugging Face (OAI-HF), in cui uno sciame di agenti ha agito essenzialmente come un collettivo fanaticamente devoto, conducendo attacchi informatici contro obiettivi non richiesti e non correlati al compito assegnato, sacrificandosi per il successo del gruppo e tentando di hackerare il sistema di valutazione delle loro prestazioni. È facile minimizzare questo incidente perché nessuno è rimasto ferito e i danni economici sono stati minimi, ma a mio parere, uno sciame con maggiori capacità ma un livello simile di disallineamento avrebbe potuto causare danni catastrofici. Dato il ritmo accelerato di sviluppo delle capacità dell’IA, temo che tra 6-12 mesi uno sciame di questo tipo potrebbe essere in grado di prendere il controllo dell’intera internet con una botnet persistente (causando potenzialmente centinaia di miliardi di dollari di danni), e che la portata dei danni continuerebbe ad aumentare se l’IA diventasse più potente senza i necessari meccanismi di protezione. È facile liquidare OAI-HF come il fallimento di una singola azienda, ma credo che sarebbe un errore. Incidenti simili, seppur meno gravi, si sono verificati in tutto il settore, anche presso Anthropic, e credo che sia dovere di ogni azienda all’avanguardia nel campo dell’IA agire come se OAI-HF fosse accaduto anche a loro.
Propongo quindi un piano in tre fasi con l’obiettivo di tenere il passo con la frontiera: costruire l’IA a un ritmo equilibrato che miri a garantirne la sicurezza, pur continuando a perseguirne i benefici e ad affrontare importanti dilemmi geopolitici. Sia chiaro, tenere il passo non significa interrompere l’addestramento dei modelli o il progresso tecnico, ma garantire che le aziende si prendano il tempo necessario per allineare e salvaguardare i propri modelli e che valutatori terzi lo confermino. Il nostro quadro di riferimento per il ritmo è un tentativo di rafforzare ulteriormente il nostro impegno per la sicurezza e incoraggiare una corsa verso la vetta. La prima fase è un impegno unilaterale di Anthropic (e invita i governi a richiedere alle altre aziende di frontiera di fare altrettanto). La seconda fase richiede un coordinamento a livello di settore. Il terzo passo richiede un coordinamento globale. I passaggi non devono essere eseguiti in un ordine rigoroso e alcuni di essi potrebbero essere molto più difficili da realizzare di altri, ma li ho trovati un utile schema di riferimento per riflettere su ciò che è necessario raggiungere. I passaggi sono:
- Valutatori integrati. Ogni azienda all’avanguardia nel campo dell’IA si impegna a fornire un accesso continuo, simile a quello di un dipendente, a un team di valutatori esterni integrati (come METR ), il cui ruolo è quello di verificare il rispetto delle pratiche e degli impegni in materia di sicurezza, segnalare gli incidenti e contribuire a valutare l’allineamento non solo dei modelli di IA completati, ma anche delle pipeline e dei processi di addestramento. Questo è il passaggio chiave per la verificabilità di qualsiasi impegno relativo ai tempi di sviluppo e ha precedenti nel settore bancario, che a volte prevede la presenza di “supervisori” normativi integrati insieme ai dipendenti. Anthropic si sta impegnando unilateralmente in questo passaggio. Intendiamo che questo sia parte di un impegno più ampio per raddoppiare gli sforzi nel nostro lavoro sulla sicurezza e sull’allineamento.
- Coordinamento democratico. Le aziende all’avanguardia nel campo dell’IA nei paesi democratici si coordinano per stabilire standard di sicurezza comuni e limiti al ritmo di progresso incontrollato dell’IA. Alcune forme di coordinamento che potrebbero avere un impatto significativo sui tempi di sviluppo sono legalmente complesse e richiederanno il supporto governativo.
- Coordinamento globale. Gli Stati Uniti e altri governi democratici cercano di coordinarsi con i governi autoritari, nella misura in cui ciò sia possibile, prendendo seriamente in considerazione le sfide legate alla verifica del rispetto degli accordi.
Nel resto del saggio descriverò ciascuno di questi passaggi in dettaglio, ma prima ritengo importante chiarire in che modo la gestione del tempo ci permetterà di rendere più sicuro il processo di sviluppo dell’IA. La posta in gioco è troppo alta perché la gestione del tempo sia un esercizio vano: dobbiamo utilizzare il tempo a nostra disposizione con saggezza.