Cloudflare ochrání weby i před AI scrapingem

AI scraping je významnou hrozbou bezpečnosti a soukromí na internetu. Společnost Cloudflare, známá svými pokročilými bezpečnostními nástroji a CDN, přichází s novou funkcí Block AI Scrapers and Crawlers, která umožňuje uživatelům efektivně blokovat neautorizované AI boty. Tato funkce, podporovaná pokročilými technologiemi strojového učení a globálními signály, přináší další úroveň ochrany webových stránek proti sofistikovaným scrapingovým technikám.

 

 

AI scraping

AI scraping, neboli automatizované sběry dat pomocí umělé inteligence, představuje techniku, kde pokročilé algoritmy procházejí web a extrahují z něj cenné informace. Tyto algoritmy jsou schopny rozpoznávat vzory, analyzovat obsah a agregovat data na úrovni, která dalece překračuje možnosti tradičních web scraperů.

AI scraping má obrovský potenciál pro řadu aplikací: od tržních analýz po personalizovaný marketing a monitorování konkurence. Přestože může být v mnoha případech užitečný, také vyvolává obavy ohledně soukromí a zneužití dat. Bez adekvátní regulace a bezpečnostních opatření může dojít k porušení autorských práv, neoprávněnému přístupu k osobním informacím a potenciálně i k ekonomickým či reputačním škodám.

V reakci na tato rizika vznikají sofistikované technologie a protokoly na ochranu proti neoprávněnému scraping. Tradiční metody, jako jsou CAPTCHA a IP blokace, již nejsou proti nejnovějším AI technologiím dostatečně účinné. Proto společnosti hledají pokročilejší řešení, která dokážou identifikovat a blokovat AI nástroje bez negativního dopadu na zkušenosti legitimních uživatelů. Jedním z předních vývojářů v této oblasti je Cloudflare.

Cloudflare a jeho boj vůči AI scrapingu

Cloudflare je jeden z největších hráčů na poli poskytování internetových služeb, které zahrnují distribuovanou síť doručení obsahu (CDN), zabezpečení webových aplikací a služby DNS. Jeho infrastruktura je navržena tak, aby optimalizovala rychlost a dostupnost webů při současném zajištění vysoce efektivní ochrany proti různým hrozbám. Toto pozadí dělá z Cloudflare ideální platformu pro zavádění nových řešení v boji proti sofistikovaným technikám, jako je AI scraping.

Cloudflare stojí na křižovatce mezi vysokorychlostním internetovým připojením a individuálními weby, což mu umožňuje hrát klíčovou roli v ochraně před škodlivými aktivitami. Jeho služby nejenže zlepšují celkový výkon webu, ale také poskytují uživatelům nástroje k efektivní obraně proti novým hrozbám, které mohou ohrozit osobní data a firemní tajemství.

„Jen v červnu 2024 přistupovali AI boti k přibližně 39 % z milionu internetových stránek spravovaných  Cloudflare, ale pouze 2,98 % těchto stránek přijalo opatření k zablokování těchto požadavků.“

Aktuální aktivita AI botů

AI boti jsou stále významnější okolností internetového provozu. Jen v červnu navštívili 40 % webů spravovaných pomocí Cloudflare - a jen 3 % z nich podnikla obranná opatření. Cloudflare tento provoz monitoruje a analyzuje, což mu umožňuje identifikovat a blokovat AI boty na základě chování, které je typické pro neoprávněné scrapingové pokusy.

I když mnoho webů vyvíjí snahy o blokování těchto botů, často se spoléhají na pravidla v souborech robots.txt, která nejsou vždy účinně dodržována. AI boti mohou jednoduše změnit své uživatelské agenty a předstírat, že jsou legitimní uživatelé, což vyvolává potřebu sofistikovanějších obranných strategií.

Nejaktivnější AI boti

Dle průzkume Cloudflare byl v červnu 2024 nejaktivnějším AI botem v počtu požadavků Bytespider, provozovaný společností ByteDance, vlastníkem TikToku. Tento bot shromažďuje trénovací data pro jazykové modely včetně těch, které podporují Doubao, konkurenta ChatGPT.

Dalšími významnými AI boty jsou Amazonbot, používaný pro indexaci obsahu a odpovídání dotazům pro Alexu, a ClaudeBot, zaměřený na trénink chatovacího bota Claude, jehož objem požadavků nedávno vzrostl. GPTBot od OpenAI, sbírající data pro jazykové modely, které podporují produkty jako ChatGPT, také vykazuje vysoký objem aktivit a je často blokován.

Block AI Scrapers and Crawlers

Cloudflare nedávno představil funkci Block AI Scrapers and Crawlers, která umožňuje uživatelům jednoduchým kliknutím blokovat AI boty, scrapery a crawlery. Tato funkce je dostupná pro všechny zákazníky Cloudflare, včetně těch, kteří využívají bezplatný plán, a poskytuje efektivní způsob, jak chránit webové stránky před neautorizovaným sběrem dat pomocí AI technologií.

Klíčové charakteristiky Block AI Scrapers and Crawlers

1. Snadná aktivace: funkce je navržena tak, aby byla snadno aktivovatelná uživateli bez potřeby pokročilých technických znalostí. Jednoduché rozhraní umožňuje rychlou reakci na nově detekované hrozby.
2. Integrace se stávajícími mechanismy ochrany: Block AI Scrapers and Crawlers pracuje v synergií s dalšími bezpečnostními nástroji Cloudflare, včetně Web Application Firewall (WAF) a bot managementem, což zajišťuje komplexní ochranu.
3. Využití technologií strojového učení: Cloudflare využívá pokročilé strojové učení k identifikaci a blokaci podezřelého provozu, který může pocházet od AI scrapingu. Tato technologie umožňuje přesnější detekci a zabraňuje falešně pozitivním detekcím.

Block AI Scrapers and Crawlers poskytne uživatelům několik klíčových výhod. Primárně chrání soukromí a duševní vlastnictví, což je zásadní pro ty, kteří chtějí zabezpečit citlivé informace a obsah před neoprávněným přístupem. Díky tomu, že omezuje nežádoucí scraping, dochází také k výraznému zlepšení výkonu webových stránek; méně nelegitimního provozu znamená rychlejší načítání stránek a lepší uživatelské zkušenosti. Navíc snižuje riziko právních problémů spojených s porušením autorských práv a jiných regulací.

Jak Cloudflare identifikuje i maskované AI boty?

Cloudflare si je vědom nárůstu AI botů, které se maskují jako legitimní uživatelé prohlížečů, aby unikly detekci. Boti často mění své uživatelské agenty, což jsou řetězce, jež identifikují typ prohlížeče používaného při přístupu na webové stránky. Toto maskování umožňuje botům obejít méně sofistikované bezpečnostní systémy.

Nicméně, Cloudflare používá pokročilé strojové učení a další technologie k identifikaci těchto botů. Tato technologie funguje na několika úrovních:

1. fingerprinting nástrojů a frameworků: škodliví agenti používají určité nástroje a frameworky k procházení webových stránek ve velkém měřítku - ovšem Cloudflare je schopen tyto nástroje "otiskovat" fingerprintingem. Pro každý takový fingerprinting, který Cloudflare zaznamená, používá svou síť, která v průměru zpracovává přes 57 milionů požadavků za sekundu, k vyhodnocení jeho důvěryhodnosti;
2. globální agregace signálů: Cloudflare shromažďuje a analyzuje globální signály z obrovského množství dat, aby rozpoznal vzory typické pro boty. Ty zahrnují různé aspekty chování a technické detaily, které mohou naznačovat aktivitu bota;
3. skóre botů: na základě shromážděných dat Cloudflare přiřazuje botům skóre. Toto skóre je určeno k odlišení pravděpodobných botů od skutečných uživatelů. Pokud skóre bota klesne pod určitou hranici, je provoz z tohoto zdroje automaticky blokován nebo vyzván k dalšímu ověření.
4. neustálá adaptace modelů strojového učení: Cloudflare neustále aktualizuje své modely strojového učení, aby se přizpůsobil novým technikám maskování, které boti používají. To zahrnuje sledování změn v uživatelských agentech a dalších identifikátorech, které boti mohou měnit.

Jak aktivovat funkci ochrany webu před AI Scrapingem?

Funkci Block AI Scrapers and Crawlers najdete v rozhraní správy svého webu.

1. Přihlaste se do uživatelského účtu na dash.cloudflare.com;
2. vyberte požadovaný web;
3. přejděte do sekce Security;
4. vyberte podsekci Bots;
5. v pravé části okna aktivujte funkci Block AI Scrapers and Crawlers přesunutím posuvníku do aktivní polohy.

 

Zdroje

• Cloudflare
• Dashboard Cloudflare
• The Cloudflare Blog

 

Daniel Beránek, 31.07.2024 18:59

 

 

 

	Mistral demokratizuje pokročilé funkce AI Francouzský vývojář AI Mistral AI přichází s multimodálním modelem Pixtral Large, aktualizuje vlajkový jazykový model Mistral Large na verzi 24.11 a ve zdarma přístupné betě nabízí pokročilé funkce, jako jsou Web Search, Canvas a...
	SearchGPT kombinuje důvěryhodnost, kontext a přístupnost OpenAI představilo SearchGPT, novou funkci v rámci ChatGPT, která kombinuje sílu umělé inteligence a schopnosti přímého vyhledávání na internetu. Jde o krok směrem k plně integrovaným systémům, které mohou na základě uživatelských...
	Claude 3.5 Sonnet a Haiku: nová kapitola ve vývoji LLM Neustálý vývoj jazykových modelů přináší nové možnosti, jakým způsobem umělá inteligence ovlivňuje nejen interakci mezi uživateli a počítači, ale práci s daty jako takovou. Společnost Anthropic nyní představuje 2  nové modely –...
	Spotify přidává videa Spotify stále rozšiřuje svou nabídku funkcí, aby uživatelům poskytlo co nejkomplexnější hudební zážitek. Nově se snaží zintenzivnit posluchačský zážitek přidáním videí, díky čemuž mohou uživatelé sledovat videoklipy...