Robots.txt correct instellen: Pagina's uitsluiten van Google-indexering

Je website is een digitale winkel, maar niet alle schappen hoeven voor iedereen open te zijn.

Sommige pagina’s zijn puur voor jouw eigen administratie of staan vol met testdata die je niet wilt laten zien aan je bezoekers. Toch wil je niet dat Google deze pagina’s per ongeluk indexeert en aan de wereld toont. Hier komt de robots.txt file om de hoek kijken: een simpel bestandje met een enorme impact op je SEO.

Wat is een robots.txt bestand?

Een robots.txt bestand is een eenvoudig tekstbestand dat in de hoofdmap van je website staat.

Het geeft instructies aan zoekmachines zoals Google welke delen van je site ze wel en niet mogen crawlen (scannen). Je kunt het zien als een "niet storen"-bordje voor specifieke bots.

Het bestand gebruikt simpele commando's: "User-agent" vertelt welke bot de regel volgt, en "Disallow" geeft aan welke mappen of pagina's niet gescand mogen worden. Bijvoorbeeld: als je niet wilt dat Google je admin-pagina's indexeert, zet je een regel als "Disallow: /admin/". Belangrijk: een robots.txt bestand sluit pagina’s niet volledig van de indexering af. Het beïnvloedt alleen de crawlsessies. Als andere websites naar een pagina linken, kan Google die alsnog indexeren tenzij je extra maatregelen neemt, zoals meta-robots tags.

Waarom is dit belangrijk voor je SEO?

Stel je voor: Google botst constant tegen je testpagina’s aan of verdwaalt in je filters die dubbele content genereren.

Dat verspilt je crawl budget. Je site is dan trager geïndexeerd en belangrijke pagina’s worden minder snel gevonden.

Een correcte robots.txt zorgt ervoor dat Google zich focust op wat er echt toe doet. Voor MKB-bedrijven in Noord-Holland is dit extra relevant. Lokale concurrentie is hoog, en elke seconde telt. Als je site traag laadt door overbodige crawls, verlies je potentiële klanten uit Alkmaar of Den Helder.

Een bureau zoals BRUTAEL in Schagen ziet dit vaak terug in analyses: een opgeruimde robots.txt verbetert direct de crawl-efficiëntie.

Daarnaast bescherm je privacygevoelige data. Pagina’s met klantgegevens of interne tools mogen niet zomaar vindbaar zijn. Met een correcte robots.txt verklein je het risico op datalekken en onnodige blootstelling.

Hoe werkt het precies? De kerncommando's

Het opzetten van een robots.txt is vrij eenvoudig, maar vereist aandacht voor detail. Hier zijn de essentiële commando’s:

• User-agent: * – Dit richt zich op alle bots. Gebruik dit voor algemene regels.
• Disallow: /pad/ – Sluit een specifiek pad uit. Bijvoorbeeld: "Disallow: /wp-admin/" voor WordPress-sites.
• Allow: /pad/ – Geeft toegang, zelfs als een bovenliggend pad is geblokkeerd.
• Sitemap: [URL] – Verwijst naar je sitemap.xml, zodat bots weten waar ze belangrijke pagina’s vinden.

Stel je hebt een e-commerce site in Noord-Holland met productfilters. Een URL als "/producten?kleur=rood" creëert duplicate content.

Je kunt dit oplossen door de filterpagina’s te blokkeren: "Disallow: /producten?" – dit voorkomt dat Google elke filtercombinatie indexeert. Test altijd je robots.txt met tools zoals Google Search Console. Daar zie je of je regels correct werken en kun je eventuele indexeringsproblemen oplossen zodat de juiste pagina’s zichtbaar blijven. Een foutief commando kan je hele site onzichtbaar maken – dus wees voorzichtig.

Prijzen en opties: van DIY tot professioneel

Je kunt een robots.txt zelf maken met een gratis tool als Yoast SEO of een teksteditor.

Dit kost niets en duurt maar een paar minuten. Voor MKB-bedrijven met een WordPress-site is dit vaak voldoende. Plugins regelen de basisinstellingen automatisch.

Wil je meer maatwerk? Een SEO-bureau zoals BRUTAEL in Schagen kan dit voor je regelen.

Zij bieden een scan van je site voor €150-€300, inclusief robots.txt optimalisatie en crawl-budget analyse.

Dit is ideaal als je site complex is of als je al een Google Ads specialist inschakelt voor leadgeneratie. Voor grotere projecten, zoals webshops met duizenden producten, kies je voor een pakket van €500-€1000. BRUTAEL combineert dit dan met server-side tracking en AI-gestuurde automatisering. Hun aanpak in drie fasen – strategie, testen, optimalisatie – zorgt dat je site toekomstbestendig is.

Klanten in Noord-Holland, zoals retail of horeca, geven aan dat dit direct leidt tot betere lokale zichtbaarheid. Als je zelf aan de slag gaat, begin met een sjabloon.

Download een voorbeeld-robots.txt van een betrouwbare bron en pas het aan op je situatie. Vergeet niet je sitemap toe te voegen – dat is cruciaal voor SEO.

Praktische tips voor een perfecte robots.txt

Zorg dat je bestand in de hoofdmap staat (bijv. www.jouwsite.nl/robots.txt). Gebruik hoofdlettergevoelige paden – "/Admin/" is anders dan "/admin/".

En test altijd op een staging-omgeving voordat je live gaat. Combineer robots.txt met andere maatregelen.

Voor pagina’s die je echt wilt uitsluiten, voeg een meta-robots tag toe: <meta name="robots" content="noindex, nofollow">. Dit sluit ze definitief uit van indexering. Denk hier ook aan bij nieuwe pagina's aanmaken voor SEO en hou je bestand bij.

Als je site groeit – bijvoorbeeld met nieuwe landingspages voor leadgeneratie in Noord-Holland – pas je de regels aan. Omdat Google kijkt naar de mobiele versie van je website, kan een bureau als BRUTAEL dit monitoren zodat je altijd compliant bent. Tot slot: vergeet niet je Search Console. Daar zie je direct of je robots.txt problemen oplevert.

En als je twijfelt, schakel hulp in. Een Google Partner zoals BRUTAEL uit Schagen (085 124 9188) helpt je snel op weg.

Zo blijft je site schoon, snel en vindbaar voor de juiste bezoekers.