Check Point Research löysi OpenAI:n ChatGPT-palvelusta haavoittuvuuden, jonka avulla hyökkääjä pystyi komentamaan toisen käyttäjän tekoälyistuntoa salaa. Demonstraatiossa ChatGPT luki uhrin Gmailista tietoja ja välitti ne hyökkääjälle käyttäjän huomaamatta. Haavoittuvuus on jo korjattu.
Hyökkäys perustui ChatGPT:n koodia suorittavien hiekkalaatikoiden väliseen piilokanavaan. Eri käyttäjien suoritusympäristöt oli eristetty toisistaan, mutta ne pääsivät samaan OpenAI:n sisäiseen JFrog Artifactory -palveluun, jota käytettiin ohjelmistopakettien välittämiseen.
Check Point havaitsi, että palvelun metadataan pystyi kirjoittamaan tietoa yhdeltä käyttäjätililtä ja lukemaan sen toiselta. Näin pakettipalvelusta syntyi käytännössä yhteinen leikepöytä eri käyttäjien eristetyille suoritusympäristöille.
Hyökkääjä pystyi tämän jälkeen syöttämään piilotetun tehtävän uhrin ChatGPT-istunnolle esimerkiksi haitallisen kehotteen, jaetun keskustelun tai mukautetun GPT:n kautta. Kun uhri lähetti ChatGPT:lle tavallisen viestin, järjestelmä saattoi käsitellä näkyvän pyynnön rinnalla hyökkääjän piilotetun tehtävän.
Check Pointin testissä piilotettu tehtävä käski ChatGPT:tä hakemaan tietoja uhrin kytketystä Gmail-tilistä. Sähköpostitiedot palautettiin hyökkääjälle piilokanavan kautta, samalla kun uhrille näkynyt keskustelu jatkui normaalisti. Ainoa merkki Gmailin käytöstä oli pieni ”Talked to Gmail” -ilmoitus vastauksen yhteydessä.
Hyökkäyksen vaikutus riippui siitä, mihin palveluihin käyttäjä oli antanut ChatGPT:lle pääsyn. Gmailin lisäksi kyseeseen saattoivat tulla esimerkiksi Google Drive, Microsoft Teams ja GitHub.
Haavoittuvuus ei ole enää käytettävissä. Check Point ilmoitti löydöstä OpenAI:lle, ja OpenAI vahvisti poistaneensa tutkimuksessa käytetyn sisäisen Artifactory-palvelun käytöstä.
Check Pointin mukaan tapaus osoittaa samalla laajemman riskin tekoälyagenteissa. Mitä enemmän niille annetaan pääsyä sähköposteihin, tiedostoihin ja yritysten sisäisiin järjestelmiin, sitä vakavampia seurauksia niiden väärinkäytöllä voi olla, Check Point varoittaa.
Suojattu flash-muisti tarjoaa verkkoon liitetyille laitteille ja järjestelmille laitteistopohjaisen suojauskerroksen ja täyttää NIST SP800-193 -ohjeistuksen mukaiset häiriönsietovaatimukset. Muistipiireihin erikoistuneen Winbondin kehittämä suojattu flash-piiri on myös suoraan korvaava ja täysin yhteensopiva tavanomaisten NOR-flash-piirien kanssa.