Een wat? Is dit een robot? Opnieuw een technische blog over hoe jij je website kan optimaliseren. Wij hebben je in onze blog over 5 technische SEO optimalisaties al geïnformeerd over hoe jij je website kan optimaliseren met een paar eenvoudige handelingen. In deze blog gaan wij dieper in op hoe een Robots.txt file werkt zodat jij meer kan leren over SEO optimalisatie.
Laten we beginnen bij het begin, elke website hoort zijn Robots.txt file te hebben. Het eerste wat een zoekmachine doet voordat het je website bezoek is crawlen. Het is dat aan het zoeken naar een Robots.txt file. Dit gebeurt omdat de zoekmachine wilt weten of hij rekening moet houden met bepaalde instructies. Je kan de file als een instructie document zien om ermee te communiceren.
Deze instructies kunnen gevonden worden in de Robots.txt file en zijn simpelweg guidelines voor je website. De robots.txt file is erg belangrijk vanuit een SEO perspectief. Wat het doet is zoekmachines vertellen wat de beste manier is om door jou website heen te crawlen.
Waarom zou je dit willen? Je wilt dit omdat zoekmachines een bepaald “crawl budget” hebben voor jou website. Dit crawl budget moet zo efficiënt mogelijk gebruikt worden. Wat je dus niet wil is dat Google pagina’s gaat crawlen die niet relevant zijn voor de zoekmachine.
En als er geen robots.txt file is op een website?
Dit is erg simpel. Als er geen Robots.txt file aanwezig is met duidelijke guidelines dan gaat de zoekmachine ervan uit dat hij toegang heeft om door de hele website te crawlen. Je kan deze file zien als guidelines voor de zoekmachine, ondanks de zoekmachine ze kan negeren. Meeste van de grote zoekmachines accepteren de guide Lines.
In onderstaand voorbeeld kan je een voorbeeld zien waar de zoekmachine de guide Lines niet heeft gevolgd.
Hoe maak je het beste gebruik van een Robots.txt file
Zoals je hebt gelezen zijn er veel mogelijkheden met een Robots.txt file. Voor grotere website is dit enorm belangrijk, speciaal voor webshops. Ondanks zijn er nog steeds veel bedrijven die niet het beste eruit halen. Wij van Digital Movers zijn gespecialiseerd in SEO en hebben veel ervaring met dit soort problemen in de SEO branche. Wij kunnen jou helpen met het installeren van dit bestand.
De technische kant van een Robots.txt file
Bestand Waar kan je de Robots.txt file vinden? Simple type https://example.com/robots.txt. Hieronder zie je de Robots.txt file van de Digital Movers website.
Het eerste gedeelte van de code begint altijd met User-agent: *
Dit betekent simpelweg dat elke soort bot van elke zoekmachine toegang heeft tot dit domein.
Wanneer de bot dit leest weet hij dat hij kan beginnen met crawlen op deze pagina.
Onderaan de zijn “User-Agent:” ziet de bot Disallow: /wp-admin/ dit betekent dat hij geen toegang heeft tot deze informatie, omdat dit de backend van de website is en onder toezicht staat van WordPress. Dit kan geweigerd worden voor verschillende redenen, voornamelijk zijn het administratie pagina’s of pagina’s die onder onderhoud staan. Zeker als je een webshop hebt is het erg belangrijk om de pages onder disallow te zetten die geen waarde hebben voor zoek resulaten. Denk aan pagina’s zoals afrekenen, filteren enzovoorts.
Wij van Digital Movers adviseren jou om het aantal Disallow pages minimaal te houden omdat het blocken ervan soms kan resulteren in bugs en lags in bepaalde scripts van je website.
In de Allow sectie zie je de link: /wp-admin/admin-ajax.php. Dit betekent dat iedereen toegang heeft tot de WordPress login sectie van Digital Movers omdat meerdere mensen toegang nodig hebben tot deze link. Omdat wij geen Breede website hebben is het voor ons niet nodig om meer disallow pages in te stellen.
Is jou Robots.txt file beveiligd?
Nodig Onthoudt dat jou Robots.txt file zichtbaar is voor iedereen die het wil zien. Daarvoor is het super belangrijk dat gegevens zoals wachtwoorden of gevoelige informatie er niet in wordt meegenomen.
Houd je Robots.txt netjes en stop er geen privé pagina’s in. J e kan er pagina’s in stoppen die je aan het optimaliseren bent. Dit kan je helpen met de optimalisatie van je website.
Optimizing Robots.txt voor SEO
Website Hoe jij je Robots.txt bestand optimaliseert hangt allemaal af van het soort content dat je op je website hebt. Er zijn verschillende manieren om jou Robots.txt file naar je voordeel te gebruiken.
We bespreken de meest voorkomende manieren om het te gebruiken wij spreken uit ervaring omdat wij werken voor websites van verschillende klanten en hun Robots.txt bestanden zien er allemaal verschillend uit.
Een van de beste manieren om je Robots.txt file te gebruiken is het crawl budget van de zoekmachine te maximaliseren. Door te vertellen dat er geen pagina’s gecrawld hoeven te worden die niet zichtbaar zijn scheelt dat weer tijd. Als je wilt dat een bot je pagina niet crawlt typ dan dit in:
Er zijn twee andere directen waar je van af moet weten: No index en Nofollow
Eerder hebben we het gehad over het feit dat je geen pagina’s geïndexeerd wilt hebben. Misschien denk je nu dat de No index jou pagina beschermt tegen geïndexeerd worden maar helaas dat is niet waar.
Theoretisch kan je een pagina een disallow geven maar hij kan nog steeds eindigen bij de index. Over het algemeen wil je dat niet, dat is waarom je de No index directieve nodig hebt. Het werkt met de disallow directieve om er zeker van te zijn dat bots geen bezoek brengen aan index pagina’s. Als je pagina’s niet geïndexeerd wilt hebben kan je ze simpelweg allebei invoeren hier is een voorbeeld:
