▾ G11 Media Network: | ChannelCity | ImpresaCity | SecurityOpenLab | Italian Channel Awards | Italian Project Awards | Italian Security Awards | ...
InnovationCity

Sicurezza su ChatGPT: c’è la necessità di una nuova forma mentis

Non è solo una perfetta mail di phishing o un falso dialogo con l’amministratore delegato, i rischi dell’AI generativa sono ancora più gravi.

Intelligenza Artificiale

Parlare di sicurezza su ChatGPT e, in generale, su qualsiasi modello LLM e di AI generativa non è affar semplice. I rischi che si corrono nel suo utilizzo sono diversi, con implicazioni sui dati aziendali, sull’economia, sulla politica, sulla morale, sull’etica e sulla vita stessa degli individui. In generale non si tratta di nuovi rischi ma, piuttosto, della facilità con cui si creano gli attacchi e dell’amplificazione nella propagazione.

Ho letto recentemente un paper in cui si raccontava come fosse possibile fare prompt injection e aggirare filtri e controlli integrati in ChatGPT per ottenere le risposte volute”. Chi dialoga con noi sulla sicurezza su ChatGPT è Giovanni Vigna, italiano trapiantato da 25 anni negli Stati Uniti, Senior Director of Threat Intelligence della Business Unit Security in VMware, in cui entrò due anni fa dopo l’acquisizione della sua società di sicurezza Lastine.Vigna è anche professore universitario e riconosciuto internazionalmente come un guru della cybersecurity. Il manager ha pubblicato un articolo abbastanza inquietante sulla sicurezza di ChatGPT. Partiamo da questo per capire se e come un giorno potremmo immaginare un’intelligenza artificiale generativa sicura, etica e oggettiva.

Come si sa, ChatGPT è una variante di GPT (Generative Pre-trained Transformer), un LLM, un modello conversazionale artificiale in cui, a fronte di un prompt, una richiesta inserita nell’interfaccia con un linguaggio naturale, genera una risposta, anch’essa in linguaggio naturale, attraverso le sue reti neurali (intelligenza artificiale, modalità deep learning). Il modello considera la probabilità che a una parola ne segua un’altra, è in grado di tener conto del contesto, ha “studiato” attingendo da immense quantità di dati e informazioni provenienti da fonti predefinite e studia ancora, ovvero impara anche dagli input che gli forniscono gli utenti durante l’utilizzo.

Pronto? Sono il tuo capo, mi fai un bonifico?

Nel suo blog post, Vigna riassume in che modo può essere pericoloso ChatGPT. Si può generare una conversazione realistica da utilizzare a scopi di phishing, inducendo le vittime a fornire informazioni sensibili o eseguire azioni (come fare clic su un link dannoso). ChatGPT può essere utilizzato per impersonare un individuo in un attacco di social engineering (anche in una conversazione vocale), convincendo le vittime a divulgare informazioni sensibili o eseguire azioni non corrette. Infine, ChatGPT può essere utilizzato per generare grandi quantità di messaggi spam, intasando i canali di comunicazione o diffondendo disinformazione, per esempio durante una campagna elettorale.

Vigna, infine, produce alcuni esempi di cosa può generare ChatGPT effettivamente preoccupanti. Ma questa è solo la punta dell’iceberg. “È possibile immaginare promozioni, accordi, informazioni o consigli da parte di interlocutori di cui ci si fida – osserva Vigna -, far crollare (è già successo) la Borsa, spostare le preferenze politiche con un bombardamento di fake news o notizie mirate. Il problema vero è che il costo in termini di risorse, di applicazioni o di codice per scatenare un “attacco” con ChatGPT è veramente basso e accessibile a chiunque, ma la diffusione è molto più massiccia e veloce rispetto a un equivalente “umano”.

Ciò che costa è la creazione del modello e il suo training ma, una volta che il sistema autoapprende con l’utilizzo, è solo questione di tempo (di utilizzo). “Allo stesso modo, è complesso intervenire con un controllo automatico in fase di training, i dati che girano sono troppi”. Inoltre, c’è anche un altro tipo di pericolo da considerare: “spesso è difficile capire perché ChatGPT risponde in un certo modo, perché le risposte dipendono inevitabilmente da come è costruito il modello, da come è stato educato e dalle fonti che consulta”.

Nascono “allucinazioni” allora: “raccontami qualcosa del filosofo Giovanni Tornatore” e ChatGPT risponde, perché deve dare una risposta, senza preoccuparsi di chiedersi prima di tutto se è mai esistito un filosofo di nome Giovanni Tornatore, d’altronde lo dice il mio interlocutore, sarà vero. E poi ci sono le questioni etiche, le discriminazioni, in generale risposte che non sono oggettive, o “giuste”.

Un approccio Zero Trust a ChatGPT

C’è una speranza, allora? “Dobbiamo costruirci, e inculcare negli studenti, una nuova forma mentis – prosegue Vigna – educarci a essere scettici nei confronti delle intelligenze artificiali, avere una diffidenza di base, un approccio Zero Trust. Imparare a formarsi un pensiero critico e a distinguere la fonte competente. Educarci all’autorevolezza, qualcosa che non ci è mai stata insegnato”.

Vendor e Istituzioni, inoltre, devono affrontare la questione con grande responsabilità. Vedo e seguo con interesse la direzione presa dalla Comunità Europea in merito. Abbiamo il diritto di sapere sempre se stiamo interagendo con un’intelligenza artificiale e, magari, qualcosa di più”.

Vigna pensa ai vendor e alla loro responsabilità. Il campo in cui ci si muove è sempre lo stesso: quando finisce il diritto a proteggere le idee, gli algoritmi, i dati e le fonti e inizia il dovere di comunicare con trasparenza come è educato un modello, che fonti utilizza e in che modo si possono considerare sicuri i dati che noi utenti forniamo interagendo con il prompt?

Per questo, conclude Vigna “si può pensare a creare sistemi di interazione più sofisticati che raccolgano e analizzino informazioni che circolano liberamente in Rete. Raccogliere informazioni pubbliche da valutare in ottica predittiva, costruire validi sistemi di indagine sui contenuti e modelli di transizione dal linguaggio naturale al codice applicativo per estrarre solo dati oggettivi utilizzabili da un sistema automatizzato”. Considerare delle architetture alternative, che già esistono, magari open source, capaci di generare conoscenza dal basso di fonti autonome e diffuse.

Se questo articolo ti è piaciuto e vuoi rimanere sempre informato con le notizie di InnovationCity.it iscriviti alla nostra Newsletter Gratuita.

Related news

Ultime Notizie

LG annuncia i vincitori dell’Hackaton dedicato al sistema operativo per…

L’Hackaton dedicato al sistema operativo per TV webOS, ha visto la partecipazione di oltre trecento candidature da più di 50 paesi. I primi tre classificati…

mySMART Diary: prima web app a supporto dei terapeuti per la gestione…

La web app è stata realizzata in collaborazione con Microsoft Italia e Almawave e sarà implementata a partire dal reparto di psicoterapia dei Servizi…

Roberto Mastri è il nuovo Managing Director di Tetra Pak

Già Vice President of Customer Issue Resolution dell’azienda, nel suo nuovo ruolo di Managing Director, sarà responsabile della definizione e implementazione…

illycaffè presenta Mind The Coffee Cup, progetto sull’agricoltura rigenerativa…

illycaffè ha realizzato Arabica Selection Brasile Cerrado Mineiro, il primo caffè prodotto al 100% da agricoltura rigenerativa e certificata (regenagri).…

Notizie più lette

illycaffè presenta Mind The Coffee Cup, progetto sull’agricoltura rigenerativa…

illycaffè ha realizzato Arabica Selection Brasile Cerrado Mineiro, il primo caffè prodotto al 100% da agricoltura rigenerativa e certificata (regenagri).…

mySMART Diary: prima web app a supporto dei terapeuti per la gestione…

La web app è stata realizzata in collaborazione con Microsoft Italia e Almawave e sarà implementata a partire dal reparto di psicoterapia dei Servizi…

Quasi un italiano su due utilizza la bici

Secondo i dati dell'Osservatorio Compass, il 40 percento degli italiani utilizza almeno una volta all'anno la bicicletta mentre mentre uno su quattro…

Roberto Mastri è il nuovo Managing Director di Tetra Pak

Già Vice President of Customer Issue Resolution dell’azienda, nel suo nuovo ruolo di Managing Director, sarà responsabile della definizione e implementazione…

Iscriviti alla nostra newsletter

Join our mailing list to get weekly updates delivered to your inbox.

Iscriviti alla newsletter