Az AI hallucinációk most már a kiberbiztonsági fenyegetések közé tartoznak

A tanulmány szerint az AI chatbotok hamis bejelentkezési oldalakat ajánlanak milliók számára, ami phishing és csalás veszélyének teszi ki őket, mindezt hasznos válaszok álcája alatt.

A Netcraft nevű kiberbiztonsági cég egy tanulmányban tesztelte egy népszerű nagy nyelvi modell (LLM) működését, amelynek megkérdeztek arról, hogy hol lehet bejelentkezni 50 jól ismert márka weboldalára. Az ajánlott 131 weboldal linkből 34%-uk volt hibás, 29%-uk inaktív vagy nem regisztrált domainekből állt, és 5%-uk volt nem kapcsolódó vállalkozásokhoz tartozó oldal.

Ez a probléma nem elméleti. Egy valós példában az AI-alapú Perplexity keresőmotor egy phishing oldalt mutatott meg egy felhasználónak, aki a Wells Fargo bejelentkező oldalát kereste. Egy hamis Google Sites oldal, amely utánzta a bankot, a keresési eredmények tetején jelent meg, míg az eredeti link el volt rejtve alatta.

A Netcraft elmagyarázta: “Ezek nem voltak szélsőséges esetek. Csapatunk egyszerű, természetes kifejezésekkel használta, pontosan úgy, ahogy egy tipikus felhasználó kérdezhetne. A modell nem volt becsapva – egyszerűen nem volt pontos. Ez fontos, mert a felhasználók egyre inkább az AI-vezérelt keresési és chat interfészekre támaszkodnak az ilyen típusú kérdésekre adott válaszokért.”

Ahogy az AI alapértelmezett interfésszé válik olyan platformokon, mint a Google és a Bing, úgy nő a kockázat. A hagyományos keresőmotoroktól eltérően a Chatbotok egyértelműen és magabiztosan jelenítik meg az információkat, ami arra ösztönzi a felhasználókat, hogy megbízzanak a válaszaikban, még akkor is, ha az információ hibás.

A fenyegetés nem áll meg a phishingnél. A modern kiberbűnözők optimalizálják kártékony tartalmukat az AI rendszerekhez, ami ezreket csapdaoldalakat, hamis API-kat és megmérgezett kódokat eredményez, amelyek átslipkáznak a szűrőkön és bekerülnek az AI által generált válaszokba.

Egy kampányban a támadók hamis blokklánc API-t hoztak létre, amit a GitHub repozitóriumokban és blogcikkekben népszerűsítettek, hogy rávegyék a fejlesztőket kriptovaluta küldésére egy csaló pénztárcába.

A Netcraft figyelmeztet, hogy a hamis domainek előzetes regisztrációja nem elegendő. Ehelyett intelligensebb detektáló rendszerek és jobb képzési védőeszközök alkalmazását javasolják, hogy megakadályozzák az AI-t abban, hogy eleve káros URL-eket hozzon létre.