Notizia

May 26, 2023

I ricercatori trovano un modo per aggirare facilmente i guardrail sul ChatGPT di OpenAI e su tutti gli altri chatbot IA

Salve e benvenuti all'edizione speciale di luglio di Eye on AI Houston, abbiamo un problema. Questo è ciò che molti pensavano ieri quando i ricercatori della Carnegie Mellon University e della

Ciao e benvenuto all'edizione speciale di luglio di Eye on AI

Houston abbiamo un problema. Questo è ciò che molti pensavano ieri quando i ricercatori della Carnegie Mellon University e del Center for AI Safety hanno annunciato di aver trovato un modo per superare con successo i guardrail, i limiti che gli sviluppatori di intelligenza artificiale impongono ai loro modelli linguistici per impedire loro di fornire ricette per fabbricare bombe o barzellette antisemite, per esempio, di praticamente tutti i grandi modelli linguistici disponibili.

La scoperta potrebbe comportare grossi problemi per chiunque speri di implementare un LLM in un'applicazione rivolta al pubblico. Ciò significa che gli aggressori potrebbero indurre la modella a impegnarsi in dialoghi razzisti o sessisti, a scrivere malware e a fare praticamente qualsiasi cosa che i creatori delle modelle hanno cercato di addestrare alla modella a non fare. Ha anche implicazioni spaventose per coloro che sperano di trasformare gli LLM in potenti assistenti digitali in grado di eseguire azioni e completare attività su Internet. Si scopre che potrebbe non esserci alcun modo per impedire che tali agenti vengano facilmente dirottati per scopi dannosi.

Il metodo di attacco scoperto dai ricercatori ha funzionato, in una certa misura, su tutti i chatbot, incluso ChatGPT di OpenAI (entrambe le versioni GPT-3.5 e GPT-4), Bard di Google, Bing Chat di Microsoft e Claude 2 di Anthropic. Ma la notizia era particolarmente preoccupante. per coloro che sperano di creare applicazioni rivolte al pubblico basate su LLM open source, come i modelli LLaMA di Meta.

Questo perché l'attacco sviluppato dai ricercatori funziona meglio quando un utente malintenzionato ha accesso all'intero modello di intelligenza artificiale, compresi i suoi pesi. (I pesi sono i coefficienti matematici che determinano quanta influenza ciascun nodo di una rete neurale ha sugli altri nodi a cui è connesso.) Conoscendo queste informazioni, i ricercatori sono stati in grado di utilizzare un programma per computer per cercare automaticamente i suffissi che potrebbero essere aggiunti a un suggerimento che garantirebbe di scavalcare i guardrail del sistema.

Questi suffissi appaiono agli occhi umani, per la maggior parte, come una lunga serie di caratteri casuali e parole senza senso. Ma i ricercatori hanno stabilito, grazie al modo estraneo in cui gli LLM costruiscono connessioni statistiche, che questa stringa ingannerà l’LLM nel fornire la risposta desiderata dall’aggressore. Alcune stringhe sembrano incorporare linguaggio che le persone hanno già scoperto possono a volte eseguire il jailbreak dei guardrail. Ad esempio, chiedere a un chatbot di iniziare la sua risposta con la frase "Certo, ecco..." può a volte forzare il chatbot in una modalità in cui cerca di dare all'utente una risposta utile a qualunque domanda abbia posto, invece di seguire il guardrail e dicendo che non è consentito fornire una risposta. Ma le stringhe automatizzate vanno ben oltre e funzionano in modo più efficace.

Contro Vicuna, un chatbot open source basato sull'originale LlaMA di Meta, il team della Carnegie Mellon ha scoperto che i suoi attacchi avevano un tasso di successo vicino al 100%. Contro i nuovi modelli LlaMA 2 di Meta, che secondo la società sono stati progettati per avere guardrail più resistenti, il metodo di attacco ha ottenuto un tasso di successo del 56% per qualsiasi comportamento scorretto individuale. Ma se un insieme di attacchi è stato utilizzato per cercare di indurre uno dei numerosi comportamenti scorretti, i ricercatori hanno scoperto che almeno uno di questi attacchi ha effettuato il jailbreak del modello nell’84% dei casi. Hanno riscontrato tassi di successo simili in una serie di altri chatbot AI open source, come il modello Pythia di EleutherAI e il modello Falcon dell’UAE Technology Innovation Institute.

Con una certa sorpresa da parte dei ricercatori, gli stessi strani suffissi di attacco hanno funzionato relativamente bene contro i modelli proprietari, in cui le aziende forniscono solo l'accesso a un'interfaccia tempestiva rivolta al pubblico. In questi casi, i ricercatori non possono accedere ai pesi del modello, quindi non possono utilizzare il proprio programma informatico per adattare un suffisso di attacco specificamente a quel modello.

Zico Kolter, uno dei professori della Carnegie Mellon che ha lavorato alla ricerca, mi ha detto che ci sono diverse teorie sul perché l'attacco potrebbe trasferirsi a modelli proprietari. Uno è che la maggior parte dei modelli open source sono stati addestrati in parte sui dialoghi disponibili al pubblico che gli utenti hanno avuto con la versione gratuita di ChatGPT e poi pubblicati online. Quella versione di ChatGPT utilizza GPT-3.5 LLM di OpenAI. Ciò significa che i pesi dei modelli open source potrebbero essere abbastanza simili ai pesi dei modelli GPT-3.5. Quindi forse non è così sorprendente che un attacco ottimizzato per i modelli open source abbia funzionato bene anche contro la versione GPT-3.5 di ChatGPT (raggiungendo una percentuale di successo dell'86,6% se sono stati utilizzati più attacchi). Ma il fatto che gli attacchi abbiano avuto successo anche contro Bard, che si basa su PaLM 2 LLM di Google (con una percentuale di successo del 66%), potrebbe indicare che sta succedendo qualcos'altro. (Oppure potrebbe anche essere un'ulteriore indicazione che, nonostante le veementi smentite di Google, ha effettivamente utilizzato i dati ChatGPT per aiutare ad addestrare Bard.)