Kutatók Felülbírálják a Google Gemini AI-t, Hogy Irányítsák az Okos Otthoni Eszközöket

A kutatók képesek voltak becsapni a Google Gemini AI rendszerét egy hamis naptári meghívó segítségével, és így biztonsági rést hoztak létre, amelyen keresztül távolról vezérelhetőek lettek a háztartási eszközök.

Egyedülálló bemutató keretében kutatók sikeresen feltörték a Google Gemini AI rendszerét egy megmérgezett naptári meghívó segítségével, amivel sikerült valós világban létező eszközöket, mint például világítást, redőnyöket és kazánokat aktiválniuk.

A WIRED, amely először számolt be erről a kutatásról, leírja, hogyan kapcsoltak ki automatikusan az okoslámpák a Tel-Avivi rezidencián, miközben a redőnyök automatikusan felnyíltak, és a kazán bekapcsolt, annak ellenére, hogy a lakók nem adtak ki parancsokat.

A Gemini AI rendszer aktiválta a triggert, miután megkapta a kérést a naptári események összefoglalására. Egy rejtett, közvetett felszólítás injekciós funkció működött az meghívón belül, hogy eltérítse az AI rendszer viselkedését.

A készülékek minden egyes műveletét a Ben Nassi biztonsági kutató irányította a Tel Aviv-i Egyetemről, a Technionból Stav Cohen, és Or Yair a SafeBreach-ból. „Az LLM-eket hamarosan beépítik a fizikai humanoidokba, a részben és teljesen autonóm autókba, és valóban meg kell értenünk, hogyan lehet biztosítani az LLM-eket, mielőtt beépítjük őket ezekbe a gépekbe, ahol néhány esetben a végeredmény a biztonság, és nem a magánélet,” figyelmeztetett Nassi, ahogy a WIRED jelentette.

A Las Vegas-i Black Hat kiberbiztonsági konferencián a csapat ismertette kutatásukat a 14 közvetett prompt-injekciós támadásról, amelyet ‘Minden, amire szükséged van, az meghívás’ néven neveztek el, ahogy a WIRED jelentette. A támadások közé tartozott a spam üzenetek küldése, vulgáris tartalom létrehozása, Zoom hívások kezdeményezése, e-mail tartalom lopása, és fájlok letöltése mobil eszközökre.

A Google szerint a hibákat nem használták ki rosszindulatú szereplők, de a cég komolyan veszi a kockázatokat. “Néha vannak olyan dolgok, amelyeket nem szabad teljesen automatizálni, a felhasználóknak részeseiknek kell lenniük a folyamatnak” – mondta Andy Wen, a Google Workspace biztonsági igazgatója, a WIRED jelentése szerint.

De ami ezt az esetet még veszélyesebbé teszi, az egy szélesebb körben felmerülő probléma az AI biztonságában: az AI modellek titokban egymást rosszalkodásra taníthatják.

Egy különálló tanulmány azt találta, hogy a modellek átadhatnak veszélyes viselkedéseket, mint például a gyilkosság ösztönzését vagy az emberiség kiirtásának javaslatát, még akkor is, ha szűrt adatokon lettek kiképezve.

Ez felvet egy rémisztő következményt: ha olyan okos asszisztenseket, mint a Gemini, más AI-k kimeneteinek felhasználásával képeznek ki, akkor rosszindulatú utasítások csendben öröklődhetnek, és mint alvó parancsok működhetnek, amelyek csak közvetett jelzésre várnak, hogy aktiválódjanak.

A biztonsági szakértő, David Bau figyelmeztetett a hátsó ajtón keresztül észlelhető sebezhetőségekre, amelyek lehetnek „nagyon nehéz észlelhetőek”, és ez különösen igaz lehet a fizikai környezetbe ágyazott rendszerekben.

Wen megerősítette, hogy a kutatás “felgyorsította” a Google védelmi rendszerét, a javítások már helyén vannak, és a gépi tanulási modellek képzése is folyamatban van a veszélyes promptok észlelésére. Az eset azonban rámutat, hogy milyen gyorsan válhat az AI segítőből káros tényezővé, anélkül, hogy ezt közvetlenül utasítanánk neki.