Handleiding voor het gebruik van het robots.txt-bestand

Procédure

Gids voor het gebruik van het robots.txt-bestand

Als SEO nieuw voor je is, moet je een robots.txt-bestand maken voor je site.
Deze handleiding laat zien wat het doel is van het robots.txt-bestand en hoe je het kunt gebruiken om je SEO te verbeteren.

Wat is een robots.txt-bestand?

Robots.txt is een eenvoudig tekstbestand dat je maakt en plaatst bij de root van je website om zoekmachinespiders te vertellen dat ze toegang hebben tot de verschillende webpagina's op je site.

Hoe een robots.txt-bestand werkt:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: afkorting voor Search Engine Result Page.

U kunt het robots.txt-bestand gebruiken om:

• Zoekrobots dubbele pagina's op je site te laten negeren
• Bepaalde interne pagina's van uw website niet indexeren (bijv. uw beheerderspaneel of pagina's met gevoelige informatie)
• Beperk robots om bepaalde delen van uw site of de hele site te indexeren
• Zoekrobots verbieden bepaalde bestanden op uw site te indexeren, zoals afbeeldingen en PDF's.

Voorbeeld van robots.txt-richtlijnen

Als u wilt voorkomen dat robots uw site bezoeken en niet worden doorverwezen door zoekmachines, gebruikt u de volgende code:

User-agent: * Disallow: /

U kunt ook voorkomen dat robots delen van uw site analyseren, terwijl ze andere delen wel mogen analyseren. Het volgende voorbeeld vertelt zoekmachines en spiders dat ze de map wp-admin, de map tmp, de map private en alle items in deze mappen op uw website niet mogen scannen.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

In het bovenstaande voorbeeld is http://www.mon-domaine-lws.fr/prive/index.html een van de geblokkeerde URL's, maar http://www.mon-domaine-lws.fr/index.html en http://www.mon-domaine-lws.fr/ folder/ zullen wel crawlable zijn.

User-agent: * betekent dat de volgende regel moet gelden voor alle robots, je kunt bepaalde robots specificeren voor bijvoorbeeld de Google robot: User-agent: Googlebot hier is de volledige lijst van robots, http://www.robotstxt.org/db.html

robots.txt bestand voor WordPress

User-agent: * Disallow: /wp-admin/ #disconnect access to admin section Disallow: /wp-login.php #disconnect access to dashboard login page Disallow: /search/ #disconnect access to internal search results page Disallow: *?s=* #disallow toegang tot interne zoekresultaten pagina Disallow: *?p=* #disallow toegang tot pagina's met slechte permalinks Disallow: *&p=* #disallow toegang tot pagina's met slechte permalinks Disallow: *&preview=* #disallow toegang tot vorige pagina's Disallow: /tag/ #disallow toegang tot tag pagina's Disallow: /author/ #disallow toegang tot auteurspagina's Disallow: /404-error/ #disallow toegang tot 404 pagina's Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

U kunt testen of uw robots.txt-bestand de toegang tot bepaalde pagina's op uw website blokkeert met het Google Webmasterhulpprogramma door naar deze pagina te gaan en op Robots.txt Tester openen te klikken.

U kunt uw robots.txt-bestand ook online genereren met dit hulpprogramma

Conclusie:

Robots.txt kan een belangrijke rol spelen in de ranking van uw site in zoekmachines. Daarom moet je dit eenvoudige bestand belangrijk en zorgvuldig beheren.

Aarzel niet om uw opmerkingen en vragen te delen!