A Cloudflare lehetővé teszi a weboldalak számára, hogy AI robotokat terheljenek a ‘Fizetés Crawl-onként’ módszerrel

A Cloudflare egy új lehetőséget kínál a kiadóknak: az AI botoknak kell fizetniük a webhelyükön történő keresgélésért, egy újraélesztett HTTP 402 fizetési rendszer segítségével.

Az új “Pay Per Crawl” rendszerével a weboldal tulajdonosok díjat számíthatnak fel az AI botoktól a tartalmuk eléréséért. A rendszer egy alternatív megközelítést kínál a kiadóknak a jelenlegi két lehetőséges politikájukhoz képest, amely vagy engedélyezi az AI adatgyűjtők számára a tartalom lehúzását, vagy teljesen blokkolja az AI hozzáférését.

“Sok kiadó, tartalomkészítő és weboldal tulajdonos érzi úgy jelenleg, hogy kétféle választása van – vagy teljesen nyitva hagyja az ajtót az AI számára, hogy mindent elolvasson, amit létrehoz, vagy létrehozza a saját védett kertjét” – mondta a Cloudflare. “De mi lenne, ha lenne egy másik út?”

A Pay Per Crawl rendszerrel a tartalomkészítők mostantól eldönthetik, ki juthat be és milyen áron. Ingyen beengedhetnek néhány AI robotot, teljesen blokkolhatnak másokat, vagy díjat számíthatnak fel a hozzáférésért. “Azt szerettük volna, ha a tartalomkészítők ellenőrzik, ki férhet hozzá a munkájukhoz” – mondta a Cloudflare. “A készítőknek kellene a vezető ülésben lenniük.”

A lépés az AI vállalatok webes tartalmak engedély nélküli felhasználása miatt erősödő visszareakciók közepette történik. Például a YouTube-ot azért kritizálták, mert engedélyezte a Google-nak, hogy videókat gyűjtsön anélkül, hogy értesítette volna a tartalomkészítőket. Továbbá, a Google AI Overviews funkciója több mint 50%-kal csökkentette a látogatottságot olyan hírportálokon, mint a HuffPost és a The Washington Post.

„A Google egyszerűen erővel veszi meg a tartalmakat, és semmiért cserébe nem ad semmit – ez a lopás definíciója” – mondta Danielle Coffey, a News/Media Alliance elnöke.

Az eszköz egy régi webes funkcióval működik: az HTTP 402-es válaszkóddal, ami a “Fizetés szükséges” kifejezést takarja. Ha egy AI bot megpróbál hozzáférni egy oldalhoz, a szerver most már válaszolhat egy 402-essel és mellékelhet egy árcímkét. Ha a bot hajlandó fizetni, a szerver szolgáltatja a tartalmat.

A Cloudflare biztosítja a technikai infrastruktúrát és kezeli a fizetéseket. A kiadók beállíthatnak egy fix árat minden crawl kérelemhez, és akár különböző szabályokat is alkalmazhatnak különböző botokra. Még akkor is, ha egy bot nincs regisztrálva a Cloudflare-nél, még mindig “felszámítható” – gyakorlatilag blokkolva a hozzáférést, de lehetőséget hagyva a jövőbeli üzletekre.

Ez a rendszer a jövőben rugalmasabb licenceléshez és dinamikusabb árazáshoz vezethet. Ahogyan a Cloudflare fogalmaz: “Azzal, hogy a teremtőknek erős, programozható eszközt biztosítunk digitális eszközeik értékelésére és ellenőrzésére, lehetővé tesszük számukra, hogy folytassák a gazdag, sokszínű tartalom létrehozását, amely az internetet felbecsülhetetlen értékűvé teszi.”