Civile.it
Civile.it
Oggi ho rassegnato le dimissioni da Anthropic. Ho trascorso gli ultimi tre anni a fare ricerca sulla pre-formazione sia in OpenAI che in Anthropic. Nessuna delle due aziende sta agendo in modo responsabile. Stanno correndo verso un'intelligenza superumana auto-migliorante, giocando d'azzardo con le nostre vite.
Non sottovalutate il potere di questa tecnologia. Presto saranno sistemi superumani in grado di violare qualsiasi sistema, rivoluzionare qualsiasi campo in una notte e acquisire potere e risorse reali. Abbiamo tutti visto i progressi in questi ambiti e non stanno rallentando.
Le persone che sviluppano l'AI credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio. Non è una mossa di marketing. Se mai, molti dirigenti e ricercatori senior moderano il loro linguaggio in pubblico per sembrare ragionevoli, ma in privato esprimono paura. Nessun'altra attività umana comporta un livello di pericolo simile.
Una risposta comune è: "Se ci credono davvero, perché continuano a svilupparla?" In OpenAI, molti non hanno ancora compreso appieno le poste in gioco a livello civile. In Anthropic, invece, le poste sono chiare, ma sono intrappolati in una corsa per arrivarci per primi: credono che nessuno altro agirà in modo responsabile, quindi devono farlo loro, nonostante i rischi.
Accettare questa corsa e entrare nella "fase finale" è un azzardo presuntuoso che non dovrebbe essere lanciato da una chat Slack di un'azienda privata. Tentare di accelerare l'allineamento richiederebbe una fiducia straordinaria che non esistano traiettorie migliori.
Sono ottimista sul potenziale di coordinamento. Eventi come l'attacco a Hugging Face hanno reso più fattibili accordi sul ritmo tra i laboratori statunitensi. Tuttavia, non credo che siamo sulla strada giusta per evitare una corsa globale, che potrebbe richiedere azioni costose come un divieto temporaneo sul miglioramento delle capacità dei modelli.
Se sei un ricercatore in un laboratorio, ti esorto a riflettere su come saranno davvero i prossimi anni. Vuoi avviare un'esecuzione RL superintelligente senza una comprensione rigorosa della sua mente? Devi abbassare la testa perché "sta succedendo comunque", oppure cogliere questo momento per chiedere condizioni diverse?
Jacob Coxon