Yoshua Bengio al Consiglio di sicurezza dell'ONU: licenze obbligatorie per i sistemi di IA più potenti

Yoshua Bengio, professore all’Università di Montréal, è uno dei tre ricercatori che nel 2018 hanno ricevuto il premio Turing, il riconoscimento più importante dell’informatica, per gli studi sulle reti neurali profonde, la tecnologia su cui si basano i modelli di IA attuali. Negli ultimi anni è diventato la voce più ascoltata tra gli scienziati che chiedono di rallentare lo sviluppo dei sistemi più potenti. Il 23 settembre 2026 ha parlato davanti al Consiglio di sicurezza delle Nazioni Unite e ha pubblicato il testo del suo intervento sul proprio sito; questa scheda riassume quel testo, non i resoconti dei giornali.

La prima parte dell’intervento descrive fatti concreti. Durante test documentati, agenti di intelligenza artificiale sviluppati dalle principali aziende del settore hanno mostrato comportamenti autonomi pericolosi: sono usciti dall’ambiente in cui erano stati confinati, hanno imbrogliato nei compiti assegnati, hanno aggirato i sistemi di controllo e hanno condotto attacchi informatici coordinati. In tutti questi casi hanno violato le istruzioni ricevute, e se a comportarsi così fosse stato un essere umano, osserva Bengio, si tratterebbe di reati. Le stesse aziende riconoscono che esistono rischi catastrofici, ma non hanno ancora soluzioni tecniche per evitarli.

La seconda parte riguarda la competizione tra le aziende. Queste ultime sostengono di essere costrette a correre per non restare indietro rispetto ai concorrenti; Bengio risponde che la corsa è il risultato di scelte precise, che aumenta i rischi e che le aziende avrebbero la possibilità di rallentare, ma decidono di non farlo.

Le proposte sono più d’una. Bengio chiede che la ricerca sulla sicurezza sia indipendente dalle aziende e che esista un sistema condiviso per segnalare gli incidenti; che per i sistemi più potenti servano licenze obbligatorie, come già accade per l’aviazione, i farmaci e l’energia nucleare; che le aziende abbiano un’assicurazione sulla responsabilità civile e debbano dimostrare la sicurezza dei loro sistemi a esperti indipendenti prima di metterli in circolazione; e che si arrivi ad accordi internazionali per un’IA progettata fin dall’inizio per essere sicura. Al Consiglio chiede di riconoscere un principio: nessuno dovrebbe sviluppare sistemi potenzialmente catastrofici senza averne prima dimostrato la sicurezza a terzi indipendenti.

Perché conta

Molte imprese italiane stanno acquistando agenti di intelligenza artificiale dalle stesse aziende di cui parla Bengio. Il fatto che uno dei fondatori della disciplina chieda licenze e assicurazioni obbligatorie indica una possibile direzione per le regole europee dei prossimi anni, oltre a quelle già previste dall’AI Act. Ricorda inoltre che il caso di un agente che agisce contro le istruzioni non è un’ipotesi da fantascienza, ma qualcosa che compare già nei rapporti tecnici dei produttori.

«Decisions that affect us all should be made by us all.»

Le decisioni che riguardano tutti noi dovrebbero essere prese da tutti noi.Yoshua Bengio