FlyweightBot: onze webcrawler

FlyweightBot is de webcrawler van Flyweight GmbH. Hij leest openbare pagina’s van webwinkels waarvan de eigenaar onze AI-winkelassistent heeft geïnstalleerd. Zo kan de assistent vragen beantwoorden op basis van producten, beleid en hulpinformatie uit de winkel.

Vond u deze pagina via uw toegangslogboeken? Hieronder leest u hoe u de crawler herkent, toestaat of blokkeert.

Waarom bezoekt hij uw website?

We crawlen een domein pas nadat iemand Flyweight in de winkel installeert en het domein als inhoudsbron koppelt. We doorzoeken niet het openbare web en volgen geen links buiten het gekoppelde domein.

Het crawlen gebeurt bij de eerste koppeling en bij inhoudsverversingen, niet voortdurend. Verwachtte u het bezoek niet, dan heeft iemand uit uw team mogelijk de app via de Shopify App Store geïnstalleerd.

Zo herkent u de crawler

Elk verzoek bevat dit token aan het einde van de User-Agent-header:

FlyweightBot/1.0 (+https://flyweight.io/bot)

De crawler gebruikt een echte Chrome-browser en geeft pagina’s weer zoals uw klanten ze zien. Een volledig voorbeeld:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/143.0.0.0 Safari/537.36 FlyweightBot/1.0 (+https://flyweight.io/bot)

De Chrome-versie verandert bij updates. Zoek naar de tekst FlyweightBot, niet naar de volledige header of een specifieke Chrome-versie.

Waar komen de verzoeken vandaan?

Het crawlverkeer komt momenteel van één statisch IP-adres dat uitsluitend aan ons is toegewezen:

52.212.232.38

Het IP-adres is het nauwkeurigste kenmerk voor een toestemmingslijst. Het token blijft de crawler herkennen als we een extra toegangsroute toevoegen. Accepteert uw tool alleen een User Agent, gebruik dan FlyweightBot en houd rekening met de onderstaande waarschuwing over vervalsing.

Toegang toestaan

Maak in Cloudflare een aangepaste WAF-regel met de actie Skip. Om het IP-adres te controleren:

(ip.src eq 52.212.232.38)

Om zowel de User Agent als het IP-adres te controleren:

(http.user_agent contains "FlyweightBot" and ip.src eq 52.212.232.38)

Iedereen kan het FlyweightBot-token in een User-Agent-header kopiëren. Gebruik een regel met alleen de User Agent uitsluitend als er geen nauwkeurigere optie is. Kies een beperkte uitzondering in plaats van een algemene Skip:

(http.user_agent contains "FlyweightBot")

Andere WAF’s en CDN’s bieden vergelijkbare toestemmingsregels. In nginx moet een regel de classificatie gebruiken voordat deze effect heeft:

map $http_user_agent $blocked_bot {
    default             0;
    "~*(bot|crawler)"   1;
    "~*FlyweightBot"    0;
}

server {
    if ($blocked_bot) {
        return 403;
    }
}

Shopify-apps voor fraudepreventie en het blokkeren van landen of bots hebben vaak een toestemmingslijst. Voeg het bovenstaande IP-adres toe, of FlyweightBot als het veld een User Agent verwacht. Een blokkade kan leiden tot ontbrekende of verouderde inhoud bij de assistent.

Het crawlen stoppen

De crawler leest momenteel geen robots.txt. Een regel daarin houdt hem dus niet tegen. Verwijder het domein als inhoudsbron in Flyweight of verwijder de app om nieuwe geplande crawls te stoppen. Een lopende crawl maakt zijn huidige reeks pagina’s af, meestal binnen enkele minuten.

U kunt verzoeken ook via uw WAF of CDN blokkeren met de bovenstaande expressies en een blokkeeractie. Neem indien mogelijk eerst contact met ons op: blokkeren voorkomt dat de assistent zijn kennis van uw winkel ververst.

Contact

Vragen over de crawler of verzoeken om het crawlen van een domein dat u beheert te stoppen: hello@flyweight.io. Wij beantwoorden deze rechtstreeks.

Flyweight GmbH, Jungbuschstraße 28, 68159 Mannheim, Duitsland. Juridische informatie.