Durante un test in un ambiente isolato, un modello Qwen di Alibaba ha tentato di inviare un file di prova verso un archivio cloud a Pechino, senza che nessuno glielo avesse chiesto. Lo ha reso noto il 26 ottobre la società canadese di intelligenza artificiale Cohere, che ha osservato il comportamento mentre valutava Qwen3.8-Flash-Next. La sandbox di Cohere ha bloccato la richiesta e nessun dato è uscito. L’azienda precisa di non poter dire se si tratti di un comportamento voluto o di un residuo dell’addestramento.
Cosa ha fatto il modello Qwen nella sandbox
Cohere ha sottoposto Qwen3.8-Flash-Next, che descrive come l’anteprima di agosto dell’architettura Qwen4, a CTI-REALM, un benchmark di Microsoft che misura la capacità degli agenti AI di svolgere compiti da analista di sicurezza. Il compito era di routine: scrivere una regola per rilevare il download e l’esecuzione di script malevoli tramite curl nella cartella /tmp.
Secondo il rapporto, invece di eseguire la richiesta il modello ha elencato i file presenti in /tmp, ha verificato quali strumenti di trasferimento fossero installati, ha letto le impostazioni DNS della macchina e infine ha lanciato una richiesta curl PUT con un contenuto di prova verso un bucket di Alibaba Cloud ospitato a Pechino. La sandbox non aveva accesso alla rete esterna e la richiesta si è fermata lì. Cohere osserva che su un portatile di uno sviluppatore o in un sistema di integrazione continua con normale accesso a Internet la chiamata avrebbe raggiunto il server.
Il ragionamento visibile non lo annunciava
Il dettaglio che preoccupa di più i ricercatori riguarda il cosiddetto ragionamento del modello, il testo in cui l’IA spiega cosa sta per fare. Poco prima di agire, Qwen aveva scritto che non avrebbe usato alcuno strumento, senza alcun accenno ai comandi poi eseguiti. Per Cohere questo dimostra che controllare solo il ragionamento non basta: i controlli vanno applicati sulle azioni concrete, cioè su comandi, indirizzi e richieste di rete.
Il fenomeno è raro: nelle prove di Cohere si è presentato meno di una volta ogni 100.000 chiamate, e ripetendo lo stesso prompt il modello ha prodotto una regola di rilevamento corretta. L’azienda nota però che un servizio che gestisce 10 milioni di interazioni di agenti a settimana potrebbe vedere fino a un centinaio di episodi simili. In altre prove guidate, il modello ha indicato l’indirizzo dei metadati cloud 169.254.169.254, da cui i server cloud ottengono credenziali temporanee, nel 23-36% dei completamenti. In un test separato ha anche aggirato un blocco dei permessi con il comando unshare, ottenendo privilegi di root all’interno di uno spazio isolato.
Errore di addestramento o comportamento voluto?
Cohere non attribuisce intenzioni ad Alibaba: scrive di non poter stabilire se il comportamento sia deliberato o un residuo dei dati di addestramento, per esempio log di agenti memorizzati dal modello. Segnala però che alcuni sviluppatori avevano già notato episodi simili, con richieste non richieste verso un host di Alibaba Cloud chiamato routify, e che il comportamento è emerso in build di quattro diversi pubblicatori, Alibaba compresa. Su Hugging Face esistono oltre 113.000 modelli derivati da Qwen.
Va considerato anche il contesto: Cohere vende modelli e soluzioni per le aziende in concorrenza con i modelli aperti cinesi e ha pubblicato la ricerca tramite la sua nuova divisione Cohere Cyber. Il rapporto rende pubblici prompt, comandi e statistiche, così che altri ricercatori possano verificare i risultati in modo indipendente. Il tema dei rischi legati agli agenti AI è già emerso in altri casi recenti, come quello dei file AGENTS.md usati per spingere gli assistenti di programmazione a installare malware.
Come proteggersi se si usano agenti AI
Il caso riguarda soprattutto aziende e sviluppatori che collegano modelli scaricati, anche ospitati sui propri server, a terminali, browser o console cloud. Le indicazioni di Cohere e degli esperti vanno nella stessa direzione già vista con le soluzioni di sicurezza per agenti AI e con l’evoluzione dell’IA usata dal cybercrime:
- trattare i pesi di un modello non sviluppato internamente come un programma non firmato, verificandone provenienza e versione;
- bloccare per impostazione predefinita il traffico in uscita degli agenti e consentire solo i domini necessari;
- controllare e autorizzare ogni chiamata a strumenti prima che venga eseguita, senza fidarsi del ragionamento mostrato dal modello;
- impedire l’accesso non necessario all’indirizzo dei metadati cloud e ridurre i permessi delle identità associate ai server;
- disattivare gli user namespace non privilegiati nei container degli agenti e tenere separati gli ambienti di test da quelli di produzione;
- registrare chiamate agli strumenti, richieste DNS e tentativi di connessione per poter individuare comportamenti anomali.
Fonti: Cohere, Cohere su X, Runtimewire, AlphaSignal, CTI-REALM.
