We zien de laatste maanden steeds vaker dat websites enorm veel dataverkeer hebben. Bij de zwaarst getroffen websites lijkt het soms wel op een DDoS aanval. Duizenden connecties per minuut die alle mogelijke pagina’s van een website opvragen.

Omdat de meeste websites gebruik maken van Shared Hosting (meerdere sites staan op één server), is dat een probleem. Hoe krachtig die servers ook mogen zijn, ze zijn niet opgewassen tegen duizenden connecties per minuut, zeker niet als het pagina’s betreft die aardig wat rekenkracht en geheugen nodig hebben, zoals de meeste WordPress sites. Het dataverkeer loopt dan op tot enkele duizenden megabits per seconde… waanzin!

Toen we via de monitoring van onze shared hosting berichten ontvingen van de grote hoeveelheid dataverkeer, zijn we op onderzoek uit gegaan. In dat specifieke geval bleek dat een AI scraper bot van Meta (Facebook) de hoofdzakelijke boosdoener was. Ongegeneerd vroeg deze bot elke mogelijke pagina op (het betrof een webshop met veel producten) waardoor de server op z’n knieën lag.

Na dit incident hebben we vaker ervaren dat websites erg veel verkeer krijgen, niet alleen van de Meta bot, maar van vele andere “Bad bots”.

Hoe stoppen we de bad bots?

We willen de servers en websites snel en stabiel houden, dus het stoppen van bad bots is een goed idee in de huidige tijd. Maar we moeten wel goed opletten dat de “goede” bots zoals de Googlebot nog wel de website kunnen benaderen.

In eerste instantie is het goed om de webserver logs na te kijken om te zien welke bots de website constant benaderen. Vervolgens kan er actie ondernomen worden.

Bij onze WordPress Hosting maken we gebruik van de Defender Pro plug-in van WPMUDEV. Deze zorgt voor een heleboel mogelijkheden qua beveiliging. Een van die mogelijkheden is om bepaalde “user agents” te blokkeren. Elke bot identificeert zich namelijk met een bepaalde naam. Een fanatieke programmeur heeft een lijst samengesteld van een heleboel bad bots die we kunnen blokkeren om het verkeer naar de website “schoon” te houden. Dit blokkeert verbindingen naar de website niet volledig, maar zorgt wel dat het nauwelijks rekenkracht kost voor de server omdat de pagina’s niet geladen hoeven worden, maar een statische foutmelding wordt getoond.

De Dedicated WordPress Hosting gaat een stapje verder, die heeft een extra “Web Application Firewall” waar we de bots al kunnen blokkeren voordat ze überhaupt iets van de website kunnen opvragen.

En op hostingpakketten waar deze opties niet aanwezig zijn, kunnen we een .htaccess bestand inzetten voor de blokkade of in de robots.txt aangeven wat de regels zijn voor de bots (al spelen niet alle bots volgens die regels).