HTTP-fout 509: begrijpen, diagnosticeren en oplossen

Procédure

Wat is fout 509?

De HTTP-foutcode 509 betekent dat de site de in zijn hostingformule voorziene resourcelimieten overschrijdt. De server weigert dan tijdelijk om een deel of het geheel van de verzoeken te verwerken die verband houden met de hostingformule.

Twee limieten kunnen deze fout veroorzaken:

• Gelijktijdige verbindingen: aantal HTTP-verbindingen dat op hetzelfde moment open is
• Aantal verzoeken: aantal verzoeken over een periode

Een limiet, geen blokkering

Fout 509 is geen blokkering en kan dus niet handmatig worden opgeheven, noch door de klant noch door de support. Ze verdwijnt automatisch zodra het verbruik van de site weer onder de limieten van de formule zakt.

Als de fout regelmatig terugkeert, is de oorzaak van het oververbruik nog steeds aanwezig: u moet die identificeren en aanpakken (zie de volgende secties).

Veelvoorkomende situaties

In de praktijk verschijnt fout 509 meestal in een van de volgende gevallen:

• Legitiem verkeer dat te groot is voor de formule: de site krijgt meer bezoekers dan de formule aankan.
• SEO- en AI-robots die te actief zijn: crawlers verkennen de site intensief, soms duizenden pagina's per uur.
• DDoS-aanval: een groot aantal kwaadaardige verzoeken probeert de site te verzadigen.
• HTTP-resource die slecht geoptimaliseerd is : een URL wordt sterk belast (advertentiecampagne, organische viraliteit ...) maar vereist een grote hoeveelheid resources om verwerkt te worden (geen paginacache, SQL-query slecht geoptimaliseerd ...)
• Bug die een lus van verzoeken genereert: bijvoorbeeld een AJAX-script dat dezelfde URL in een lus aanroept.
• Geïnfecteerde of gehackte site: hackers gebruiken de site om landingpagina's voor phishing of frauduleuze campagnes te hosten, die veel verkeer aantrekken.

De oorsprong van het probleem diagnosticeren

Het toegangslogbestand van de website is de belangrijkste bron om te begrijpen welke verzoeken de fout veroorzaken.

1. Download vanuit uw cPanel-interface het toegangslogbestand dat bij de betreffende website hoort.
2. Zoek de meest opgevraagde URL's: eenzelfde resource die in een lus wordt aangeroepen wijst vaak op een bug of een doelgerichte pagina.
3. Zoek de meest voorkomende IP-adressen en user-agents: namen zoals Googlebot, Bingbot, GPTBot, ClaudeBot of AhrefsBot duiden op robots.
4. Vergelijk met een statistiekentool aan de browserzijde (Google Analytics of gelijkwaardig).

De vergelijking van stap 4 is doorslaggevend. Een tool zoals Google Analytics werkt met JavaScript: die telt alleen echte bezoekers van wie de browser het script uitvoert. Als het toegangslogbestand veel meer verzoeken toont dan de bezoeken gemeten door Analytics, komt het verschil zeer waarschijnlijk door robots, een aanval of geautomatiseerde oproepen.

Onbekende of verdachte URL's in het logbestand (pagina's die u niet hebt gemaakt, paden naar ongebruikelijke PHP-bestanden) moeten doen denken aan een hack.

De twee mogelijke oplossingen

Om definitief een einde te maken aan fout 509, bestaan er twee opties:

• Overstappen naar een VPS: geschikt wanneer het verkeer legitiem is en de site simpelweg de mogelijkheden van een gedeelde hosting heeft overschreden. Een VPS biedt toegewijde resources, zonder deze limieten voor verbindingen en verzoeken.
• Het verbruik verminderen: geschikt wanneer het oververbruik voortkomt uit robots, aanvallen, een bug of een slecht benut cachegeheugen. De hieronder beschreven hulpmiddelen maken het mogelijk het aantal HTTP-verzoeken en verbindingen te verlagen.

Voordat u een migratie overweegt, is het aan te raden in de logs te controleren of het verkeer inderdaad legitiem is: een gehackte site of een site die wordt gebombardeerd door robots migreren lost de oorzaak niet op.

Hulpmiddelen om het verbruik te verminderen

Verkenning beperken met robots.txt

Het bestand robots.txt, geplaatst in de root van de site, geeft SEO- en AI-robots aan welke pagina's ze mogen verkennen. U kunt er hele mappen of bepaalde AI-robots die u niet nodig hebt mee verbieden. U kunt ook een minimale wachttijd instellen tussen het verkennen van twee pagina's.

Voorbeeld:

User-agent: GPTBot
Disallow: /

User-agent: Claudebot
Crawl-Delay: 60

User-agent: *
Disallow: /panier/
Disallow: /*?filtre=

Dit is vooral nuttig wanneer uw website overspoeld wordt door verkenningsrobots. Door de opkomst van AI-trainingsrobots voeren sommige robots namelijk zoveel mogelijk verkenningen uit, soms nutteloos. AI-robots staan er bijvoorbeeld vooral om bekend alle mogelijke combinaties van filters en sorteringen op productlijstpagina's uit te proberen.

Naast uw verspilde bandbreedte voor dit soort crawling kunnen SEO- en AI-robots van mening zijn dat uw website veel te veel pagina's heeft. Ze kunnen daardoor stoppen met verkennen zonder het hele website te hebben doorzocht, wat u benadeelt in uw zoekmachineoptimalisatie. Het is in uw belang om het aantal verkende pagina's te beperken, zodat de robots zich kunnen concentreren op de pagina's die de meeste waarde bieden op het gebied van SEO- en GEO-referentie.

Respectvolle robots volgen deze regels; kwaadaardige robots negeren ze, vandaar het nut van de volgende hulpmiddelen.

LWS Protect

LWS Protect bundelt drie nuttige beschermingen tegen fout 509:

• Rate limiting van robots: beperkt de frequentie van verzoeken van SEO- en AI-robots zonder ze volledig te blokkeren.
• Agressieve anti-DDoS: onderwerpt browsers aan een JavaScript-challenge. Echte bezoekers gaan door, geautomatiseerde scripts worden gestopt.
• Blokkering van IP's met slechte reputatie: filtert adressen die bekend staan om spam, aanvallen of scraping.

Raadpleeg de documentatie van LWS Protect voor meer informatie.

Fastest Cache

Het Fastest Cache-cachesysteem maakt het mogelijk een reeds gegenereerde versie van de pagina's te serveren. De server voert per bezoek geen PHP / Node.js / Python meer uit, noch de query's naar de database, wat het verbruik van resources en de laadtijd vermindert. Dit is vooral belangrijk voor een pagina die doelwit is van een advertentiecampagne.

Als de betreffende pagina dynamisch is (bevat variabele onderdelen afhankelijk van de ingelogde bezoeker, het verbonden land ...), kunt u gedeeltelijke caching instellen: u laadt eerst de structuur van de pagina en de statische inhoud die voor alle bezoekers hetzelfde is, en vervolgens laadt u de dynamische inhoud via een asynchrone Javascript-verzoek. Zo kunt u de statische inhoud cachen.

Voor meer informatie over het gebruik van Fastest Cache, raadpleeg de productdocumentatie.

Cloudflare Under Attack-modus

Als de site via Cloudflare loopt, legt de modus « Under Attack » bezoekers een controle op vóór de toegang tot de site. Deze is nuttig tijdens een DDoS-aanval, maar moet uitgeschakeld worden zodra de aanval voorbij is, omdat hij de eerste toegang van bezoekers vertraagt.