FlyweightBot: náš webový crawler

FlyweightBot je webový crawler společnosti Flyweight GmbH. Čte veřejné stránky obchodů, jejichž provozovatelé si nainstalovali našeho nákupního asistenta AI. Asistent tak odpovídá na základě produktů, pravidel a obsahu nápovědy daného obchodu.

Pokud jste tuto stránku našli v přístupových protokolech, zde zjistíte, jak crawler poznat, povolit nebo zablokovat.

Proč navštěvuje váš web

Doménu procházíme až poté, co někdo nainstaluje Flyweight do obchodu a připojí doménu jako zdroj obsahu. Neprocházíme otevřený web ani nenásledujeme odkazy mimo připojenou doménu.

Procházení probíhá při prvním připojení a při aktualizaci obsahu, nikoli nepřetržitě. Pokud jste návštěvu nečekali, někdo z vašeho týmu možná nainstaloval aplikaci ze Shopify App Store.

Jak jej poznat

Každý požadavek obsahuje tento token na konci hlavičky User-Agent:

FlyweightBot/1.0 (+https://flyweight.io/bot)

Crawler používá skutečný prohlížeč Chrome a zobrazuje stránky stejně jako zákazník. Úplný příklad:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/143.0.0.0 Safari/537.36 FlyweightBot/1.0 (+https://flyweight.io/bot)

Verze Chrome se při aktualizacích mění. Hledejte řetězec FlyweightBot, nikoli celou hlavičku nebo konkrétní verzi Chrome.

Odkud požadavky přicházejí

Provoz crawleru nyní odchází přes jedinou statickou IP adresu vyhrazenou pouze pro nás:

52.212.232.38

IP adresa je přesnějším údajem pro seznam povolených adres. Token identifikuje crawler i při přidání další přístupové cesty. Pokud nástroj přijímá pouze User Agent, použijte FlyweightBot a zohledněte níže popsanou možnost podvržení.

Jak povolit přístup

V Cloudflare vytvořte vlastní pravidlo WAF s akcí Skip. Pro kontrolu IP adresy:

(ip.src eq 52.212.232.38)

Pro současnou kontrolu User Agent a IP adresy:

(http.user_agent contains "FlyweightBot" and ip.src eq 52.212.232.38)

Token FlyweightBot může do hlavičky User-Agent zkopírovat kdokoli. Pravidlo založené pouze na něm používejte jen tehdy, když není dostupná přesnější možnost. Upřednostněte omezenou výjimku před plošným Skip:

(http.user_agent contains "FlyweightBot")

Jiné WAF a CDN nabízejí obdobná pravidla. V nginx musí pravidlo klasifikaci skutečně použít, aby se projevila:

map $http_user_agent $blocked_bot {
    default             0;
    "~*(bot|crawler)"   1;
    "~*FlyweightBot"    0;
}

server {
    if ($blocked_bot) {
        return 403;
    }
}

Aplikace Shopify proti podvodům nebo pro blokování zemí a botů často nabízejí seznam povolených adres. Přidejte výše uvedenou IP adresu, případně FlyweightBot, pokud pole očekává User Agent. Blokování může vést k chybějícím nebo zastaralým informacím asistenta.

Jak procházení zastavit

Crawler nyní nečte robots.txt, takže pravidlo v tomto souboru jej nezastaví. Odeberte doménu ze zdrojů obsahu v administraci Flyweight nebo aplikaci odinstalujte, aby se neplánovala další procházení. Probíhající procházení dokončí aktuální dávku stránek, obvykle během několika minut.

Požadavky můžete také blokovat ve svém WAF nebo CDN pomocí uvedených výrazů a blokovací akce. Pokud je to možné, nejprve nás kontaktujte: blokování brání asistentovi aktualizovat znalosti o vašem obchodě.

Kontakt

Dotazy ke crawleru nebo žádosti o zastavení procházení domény, kterou spravujete: hello@flyweight.io. Odpovídáme přímo.

Flyweight GmbH, Jungbuschstraße 28, 68159 Mannheim, Německo. Právní informace.