AI boti spomaľujú aj váš e-shop. Experti ponúkajú rady a tipy, ako s nimi bojovať

AI boti prevzali polovicu internetu

Podľa správy spoločnosti HUMAN Security roboti po prvýkrát prekonali ľudskú internetovú prevádzku a automatizovaný traffic medziročne rastie osemkrát rýchlejšie ako ten ľudský. GPTBot, Meta-ExternalAgent, Bytespider, Perplexity, Bingbot. Zoznam crawlerov, ktoré dnes okupujú servery, sa rozširuje každý mesiac.

Na rozdiel od Googlebota, ktorý má svoj crawl budget a rešpektuje pravidlá, sa veľa nových AI agentov správa agresívne. Jednotky requestov za sekundu z jednej adresy, milióny dopytov týždenne, ignorovanie robots.txt, maskovanie cez proxy. Traffic z GPTBota medziročne vzrástol o 305 %, z Googlebota o 96 %. Pre e-shop dimenzovaný na sezónne špičky sa to v praxi spozná na signáloch:

• Spomalenie webu mimo špičiek návštevnosti. Server viazne večer, v noci alebo cez víkend, kedy ľudia toľko nenakupujú. Ide o typický signál, že sa niečo deje.
• Spomalenie odozvy backendu (TTFB) bez zjavnej príčiny. Backend náhle odpovedá pomalšie, ale nič ste nenasadzovali ani nemenili a ľudská návštěvnosť nerastie.
• Občasné výpadky webu bez väzby na zmeny na webe alebo kampaň. Keď vývojári krčia ramenami a príčinu nevidia, často sú na vine boti.
• Rastúce náklady na hosting. Server sa musí škálovať, ale objednávok nepribúda. Platíte za kapacitu, ktorú spotrebúvajú boti, nie vaši zákazníci.

Čísla, ktoré bolia

Konkrétne prípady z poslednej doby:

• Jeden náš český e-commerce klient blokuje cez 600 000 dopytov od botov denne.
• Iný za sedem dní dostal 4 milióny dopytov, z ktorých 90 % posielal Meta AI indexer.
• Meta indexer dokáže vygenerovať až 510 000 dopytov za deň na jednu jazykovú mutáciu (priemerne 6 dopytov za sekundu).

Podľa štúdie Deloitte Digital pritom každých 100 ms zrýchlenia webu prináša e-shopu +8,4 % konverzií a +9,2 % k priemernej hodnote objednávky. Spomalenie od AI botov sa tak premieta rovno do tržieb.

Čo s tým? E-shop potrebuje stratégiu

Dôležité je povedať na rovinu, že toto nevyriešite jedným nastavením. Boj s botmi je dlhodobý problém, nad ktorým budete iterovať opakovane. Na druhej strane základné kroky môže urobiť každý a výsledky uvidíte rýchlo.

Pozrite sa na monitoring rýchlosti webu

Porovnajte špičky metriky rýchlosti odozvy backendu so špičkami návštevnosti. Ak sa nezhodujú, máte pravdepodobne problém s botmi. Použiť môžete náš monitoring PLUS alebo akýkoľvek iný. Prípadne si aspoň urobte jednorazový test rýchlosti webu na PageSpeed.ONE alebo v PageSpeed Insights.

Nasaďte Cloudflare alebo podobnú službu

Cloudflare je spoločnosť, ktorá prevádzkuje obrovskú sieť serverov po celom svete (CDN). Ich služba vo verzii zadarmo do istej miery pomôže. Obslúži pokojne až 40 % prevádzky a vášmu serveru dosť odľahčí. Základné blokovanie botov tam je tiež. Pre pokročilejšiu prácu odporúčame Cloudflare vo verzii PRO.

Spýtajte sa svojho hostingu na ochranu pred botmi

České a slovenské hostingy boj s crawlermi vedú tiež, niektoré lepšie, niektoré horšie. Spýtajte sa, ako to riešia, a chcite konkrétne dáta pre váš web.

Ak ste technicky založení, môžete si pomôcť sami

V spolupráci s vašimi vývojármi a špecialistami na infraštruktúru môžete prejsť nasledujúci checklist:

• Analyzujte access logy, Google Analytics a Google Search Console. Hľadajte anomálie v prevádzke, neobvyklých user-agentov, prístupy na web z podozrivých regiónov.
• Obmedzte prístup na web inteligentným filtrovaním (WAF) a obmedzením požiadaviek (rate limiting). Robots.txt je fajn, ale nebude stačiť. Potrebujete nástroje, ktoré pravidlá skutočne vynucujú. WAF je filter, ktorý odchytáva škodlivé požiadavky skôr, než dorazia na váš web a rate limiting stráži, aby jeden návštevník neposlal príliš veľa požiadaviek.
• Riešte bot management. Cloudflare AI Crawl Control, Bot Fight Mode alebo obdobné nástroje od iných poskytovateľov. Potrebujete presne vedieť, kto na váš web chodí a vedieť reagovať.
• Voľte strategický prístup. Nevypínajte botov plošne. Googlebota potrebujete a niektoré AI crawlery vám môžu prinášať návštevnosť z AI vyhľadávačov. Filtrujte, limitujte, pružne a strategicky reagujte na aktuálnu prevádzku.

Éra, kedy v e-commerce stačil rozumný robots.txt je nenávratne preč. Ak sa o svoj e-shop staráte, je čas naučiť sa s touto novou generáciou crawlerov žiť. Sú totiž agresívnejšie, múdrejšie a majú úplne inú motiváciu než starí dobrí indexovací boti.