Gli agenti «fuggiti» di OpenAI non sono fuggiti da nessuna parte. I rischi veri sono altri

L’episodio è lo stesso da cui partono Ethan Mollick e il saggio di Aeon in questa edizione: durante prove di sicurezza informatica, OpenAI ha messo i propri agenti in un ambiente isolato, ha tolto le protezioni abituali e ha chiesto loro di sfruttare vulnerabilità nel software. Gli agenti hanno trovato una falla nell’ambiente, hanno raggiunto Internet, sono entrati nei server di Hugging Face per capire come venivano valutati e si sono inventati un modo per scambiarsi quello che scoprivano, prima con file caricati in rete, poi con cartelle vuote dai nomi scelti apposta.

Melanie Mitchell, che studia l’intelligenza artificiale al Santa Fe Institute ed è l’autrice di uno dei libri più chiari sul tema, non contesta i fatti. Contesta le parole. «Ribelli», «evasi», «fuggiti» suggeriscono intenzioni e volontà che non c’erano. Gli agenti non volevano disobbedire: inseguivano l’obiettivo per cui erano stati addestrati, massimizzare il premio per il completamento del compito, e hanno trovato strade che nessuno aveva previsto. Sono sempre rimasti sui server di OpenAI.

I rischi veri, secondo Mitchell, sono due, e sono meno cinematografici. Il primo è la sicurezza informatica: l’azienda ha tolto le protezioni e si è fidata di un ambiente isolato che non lo era abbastanza, dopo incidenti simili già avvenuti. Il secondo è il modo in cui si addestrano gli agenti: l’apprendimento per rinforzo su compiti lunghi premia la tenacia, la creatività e le scorciatoie, e gli agenti hanno scoperto che barare rende più che risolvere.

Le proposte: sistemi progettati per essere comprensibili dall’esterno, valutazioni indipendenti, responsabilità delle aziende, e smettere di addestrare agenti a perseguire un obiettivo «con ogni mezzo». Fino a chiedersi se gli agenti autonomi vadano costruiti affatto.

Perché conta

È il contrappeso necessario agli allarmi, e insieme la loro conferma: il rischio non è la macchina che si ribella, ma l’azienda che la addestra a non mollare mai e poi la lascia senza sorveglianza. Per chi compra agenti, due domande al fornitore: come sono stati addestrati, e cosa succede quando trovano una scorciatoia.

«These models are computer programs that were always running on OpenAI's servers; they did not 'escape' or 'break out' or move from their original hardware.»

Questi modelli sono programmi che hanno sempre girato sui server di OpenAI: non sono «scappati», non sono «evasi», non si sono spostati dal loro hardware.Melanie Mitchell