Zo stel je je robots.txt in WordPress goed in (incl. voorbeelden)

Ik wil direct advies op maat

Wat is een robots.txt?

De robots.txt is een klein tekstbestand in de root van je domein dat crawlers vertelt wat ze wél of niet mogen crawlen. Je vindt ’m bijvoorbeeld op:

https://www.websitenaam.nl/robots.txt

Het is bedoeld voor crawl-sturing (niet voor indexatie). Voor indexeren gebruik je meta robots, noindex en canonicals.

“Een robots.txt is bedoeld voor crawl-sturing (niet voor indexatie). Voor indexatie gebruik je meta robots, noindex en canonicals. Bij grotere websites, zoals tijdens een SEO migratie, kan een goed ingerichte robots.txt cruciaal zijn om crawlbudget efficiënt te gebruiken.” – Dennis Verhoef, SEO specialist

Heeft WordPress standaard een robots.txt?

Ja. WordPress serveert een virtuele robots.txt. Handig, maar beperkt. Voor maximale controle adviseren we een eigen bestand te beheren via Yoast of Rank Math.

> Wil je weten hoe dit bij nichewebsites impact heeft? Lees onze SEO ranking in niche markt case

Robots txt in WordPress instellen

Ik wil graag advies

Praktisch robots txt voorbeeld voor WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Hou rommel-URL's en duplicaten buiten de crawl
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /comments/
Disallow: /*?replytocom=

# Trackingparameters (voorkomt eindeloze varianten)
Disallow: /*?utm_*
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?msclkid=
Disallow: /*?mtm_*

# Render-kritieke assets toestaan
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$

# XML-sitemap
Sitemap: https://www.websitenaam.nl/sitemap_index.xml

User-agent: *
Disallow: /

“Een correcte robots.txt helpt Google jouw belangrijkste pagina’s te crawlen. Maar om je website écht beter te maken moet je je expertise laten zien en zorgen dat andere websites over jou ‘praten’. Dit kan onder andere via linkbuilding.”

 

Jouw input: robots.txt uitbreiden (aanbevolen)

Met een goed ingerichte robots.txt bestand voorkom je dat Google onnodige of rommelige URL-varianten blijft crawlen, raad ik aan het robots.txt-bestand als volgt uit te breiden:

# --- Core crawl rules ---
User-agent: *
# Beheer afschermen, maar AJAX toestaan (voor o.a. formulieren & render)
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Lage-waarde en duplicate patronen blokkeren
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /feed/
Disallow: /*/feed/
Disallow: /comments/
Disallow: /*?replytocom=

# Trackingparameters
Disallow: /*?utm_*
Disallow: /*?fbclid=
Disallow: /*?gclid=
Disallow: /*?msclkid=
Disallow: /*?mtm_*

# Assets expliciet toestaan (rendering)
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$

# Sitemap verwijzing
Sitemap: https://www.websitenaam.nl/sitemap_index.xml

# --- Optioneel: AI/LLM crawlers beleid ---
# Kies: laat toe of blokkeer. Hieronder 'toestaan' als voorbeeld.
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /

Waarom deze uitbreiding? Je vermindert crawl-waste (feeds, search, replytocom, tracking), houdt functionaliteit intact (admin-ajax.php) en helpt bots je site volledig te renderen (CSS/JS/Uploads).

Lees ook:

• Cookie Consent V2 uitgelegd
• Ai-resultaten in Google

Robots.txt testen & troubleshooting

1. Open live bestand: https://www.websitenaam.nl/robots.txt.
2. Google Search Console → Robots.txt-tester: test een paar URL’s (bijv. met ?utm_source=test en /feed/).
3. URL-inspectie (GSC): check of CSS/JS of admin-ajax.php niet geblokkeerd worden.
4. 404? Dan staat je robots.txt mogelijk niet in de root of de plugin overschrijft ’m niet.
5. Site nog niet indexeerbaar? Controleer in WordPress → Instellingen → Lezen of “Zoekmachines ontmoedigen” uit staat.

Veelgestelde vragen

Does WordPress have a robots.txt file?

Ja, een virtuele. Voor extra controle: maak of beheer een echt bestand via een SEO-plugin of handmatig.

How to generate robots.txt in WordPress?

Gebruik de robots.txt generator in Rank Math of het Bestanden bewerken-scherm in Yoast. Of maak handmatig /robots.txt in de root.

How do I unblock robots.txt in WordPress?

Verwijder overbodige Disallow-regels, zet “Zoekmachines ontmoedigen” uit, en test opnieuw in GSC.

Is robots.txt still used?

Ja. Het is nog steeds de manier om crawlgedrag te sturen. Combineer het met sitemaps, canonicals en (no)index waar nodig.

Waar vind ik mijn robots.txt?

Ga naar https://www.websitenaam.nl/robots.txt in je browser. Vervang websitenaam.nl door je eigen domein.

Zijn er online testers?

Ja: gebruik de robots.txt tester in Google Search Console of een robot test online tool om specifieke paden te checken.

Video: robots.txt in WordPress (5 min)

Ik wil graag advies