Je betaalt vier maanden aan een PR-bureau, je komt in het Financieele Dagblad, en ChatGPT zal je vermelding nooit zien. Niet omdat het artikel slecht is, maar omdat er in de robots.txt van fd.nl een regel staat die GPTBot, ClaudeBot, PerplexityBot en CCBot allemaal de deur wijst. Datzelfde bestand op het vakblog waar je vorige week een gastartikel plaatste, noemt geen enkele AI-crawler. Daar mag alles binnen.
Dat is de omkering waar bijna niemand rekening mee houdt. De pers waar je zo graag in wil, sluit de AI-modellen buiten. Het blog waar je een plaatsing koopt, laat ze juist binnen.
Wat een scan van 38 Nederlandse sites laat zien
Op 15 augustus 2026 hebben we de robots.txt opgehaald van 38 Nederlandse sites met een leesbaar bestand, verdeeld over drie groepen: vijftien grote nieuws- en persmerken, elf vakmedia en twaalf consumenten- en lifestyleblogs. Per site keken we of de regel Disallow: / geldt voor de bekende AI-crawlers.
De uitkomst is opvallend eenduidig.
- Persmedia: 15 van de 15 blokkeren. Zonder uitzondering. NU.nl, NOS, FD, NRC, de Volkskrant, Trouw, het Parool, de Telegraaf, AD, RTL Nieuws en de regionale titels van DPG weren allemaal GPTBot, ClaudeBot, PerplexityBot, CCBot en Google-Extended.
- Vakmedia: 1 van de 11 blokkeert. Emerce zet er zelfs expliciet Allow neer met een crawl-delay van zestig seconden. Marketingfacts, Dutchcowboys, Computable, MT, Sprout, Techzine en Tweakers noemen geen enkele AI-crawler, wat in de praktijk toegang betekent.
- Lifestyleblogs: 3 van de 12 blokkeren. Twee daarvan zijn tijdschrifttitels van een grote uitgever. De rest, negen sites, staat volledig open.
Tel je alles bij elkaar op, dan blokkeert 19 van de 38 sites minstens een AI-crawler. Haal je de persmedia eruit, dan zakt dat naar 4 van de 23, oftewel zeventien procent. Het onderscheid loopt niet langs kwaliteit of autoriteit, maar langs eigendom: wie een juridische afdeling en een licentiestrategie heeft, zet de deur dicht.
Voor de volledigheid: ons eigen netwerk van blogsites hoort bij de open groep. De robots.txt daar staat alle user-agents toe en sluit alleen de adminmap uit. Dat is geen toeval maar een keuze, en het is meteen het eerlijke voorbehoud bij dit artikel: wij hebben er belang bij dat open sites meetellen. Doe de check daarom zelf, ook bij ons.
De persmerken gaan bovendien verder dan alleen de trainingsbots. Dertien van de vijftien blokkeren ook OAI-SearchBot, de crawler die bepaalt of je in een ChatGPT-antwoord als bron verschijnt. Alle vijftien blokkeren ChatGPT-User, de fetcher die afgaat wanneer iemand jouw link in een gesprek plakt. Dat is geen bijvangst van een anti-trainingsbeleid, dat is een bewuste keuze om ook uit de antwoorden te blijven.
Waarom is dit anders dan wat je overal leest
Het gangbare advies luidt: ga voor earned media, want AI-assistenten citeren vooral redactionele bronnen. Dat klopt op wereldschaal, maar het Nederlandse landschap heeft een eigenaardigheid. De redactionele bronnen met de meeste autoriteit zijn hier precies de partijen die zich hebben afgesloten, terwijl de vakbladen en niche-blogs open staan.
Voor wie plaatsingen inkoopt betekent dat iets ongemakkelijks en iets prettigs tegelijk. Het ongemakkelijke: een dure persvermelding levert klassieke autoriteit op, geen AI-zichtbaarheid. Het prettige: een gastartikel op een open vakblog wordt wel gelezen, verwerkt en potentieel geciteerd. De goedkope kant van de markt heeft op dit punt een voordeel dat je niet kunt kopen bij de dure kant.
Internationaal is het beeld vergelijkbaar. BuzzStream analyseerde in januari 2026 de robots.txt van honderd grote nieuwssites in de VS en het VK en vond dat 79 procent minstens een trainingsbot blokkeert en 71 procent ook een retrieval-bot. GPTBot wordt door 62 procent geweerd, OAI-SearchBot door 49 procent. Onze steekproef laat zien dat de Nederlandse persmerken aan de strenge kant van die verdeling zitten en de rest van het Nederlandse web juist ver aan de open kant.
Een detail uit die vergelijking is veelzeggend. Internationaal blokkeert 17 procent van de nieuwssites Perplexity-User, de bot die afgaat als een gebruiker om een bron vraagt. In onze Nederlandse persgroep is dat dertien van de vijftien. De Nederlandse uitgevers hebben hun robots.txt niet half ingericht tegen datagraaiers, ze hebben hem ingericht tegen elke vorm van geautomatiseerd hergebruik. Dat is hun goed recht en het is een verdedigbaar standpunt in een licentiediscussie, maar het maakt een persvermelding voor jou wel iets anders dan een aantal jaar geleden.
Het verklaart ook waarom bedrijven die alleen op klassieke PR sturen, zichzelf in AI-antwoorden nauwelijks terugzien terwijl ze denken alles goed te doen. De vermelding staat er, hij is autoritair, hij levert verkeer op, en hij is voor een taalmodel simpelweg onzichtbaar.
Welke bots bepalen of je geciteerd wordt
Een blokkade zegt pas iets als je weet welke bot geraakt wordt. De belangrijkste fout in de praktijk is dat mensen alle AI-crawlers over een kam scheren, terwijl de aanbieders ze juist hebben gesplitst.
Trainingsbots
GPTBot, ClaudeBot, CCBot en Applebot-Extended halen materiaal op voor het trainen van modellen. Blokkeer je die, dan raakt dat pas iets in een volgende modelversie, en nooit een live antwoord van vandaag.
Retrieval-bots
OAI-SearchBot, Claude-SearchBot en PerplexityBot bepalen of je pagina op dit moment als bron in een antwoord terechtkomt. Dit zijn de crawlers die er voor zichtbaarheid werkelijk toe doen. Een site die alleen GPTBot blokkeert maar OAI-SearchBot toelaat, kan gewoon geciteerd worden. Zie de complete lijst met AI-user-agents voor de actuele namen.
Live fetchers
ChatGPT-User vuurt pas af als een mens een URL aanlevert. OpenAI heeft laten weten dat robots.txt op zulke door gebruikers gestarte verzoeken mogelijk niet van toepassing is, omdat het geen crawl is maar een handeling namens een bezoeker.
Google-Extended, de meest misbegrepen regel
Google-Extended is geen crawler maar een gebruiksschakelaar. Google haalt je pagina gewoon op met Googlebot en gebruikt Google-Extended alleen om te bepalen of dat materiaal naar Gemini en aanverwante producten mag. In de documentatie van Google Search Central staat dat het geen invloed heeft op de opname in Search. Een site die Google-Extended blokkeert, kan dus nog steeds in AI Overviews verschijnen. Wie denkt daarmee AI buiten de deur te houden, vergist zich, en wie denkt daarmee zijn plaatsing te verliezen ook.
Hoe check je dit in dertig seconden
Voordat je een plaatsing bestelt, doe je dit. Het kost minder tijd dan het invullen van de bestelling zelf.
- Zet /robots.txt achter het domein waar je wilt publiceren en open die pagina.
- Zoek met ctrl+F op vier namen: GPTBot, ClaudeBot, PerplexityBot en OAI-SearchBot.
- Kijk niet alleen of de naam voorkomt, maar welke regel eronder staat. Bij Allow: / is er niets aan de hand. Bij Disallow: / is die bot buitengesloten.
- Let op geblokkeerde regels boven de naam. Veel sites zetten twintig user-agents onder elkaar met een enkele Disallow eronder. Die Disallow geldt voor alle namen in dat blok.
- Geen enkele vermelding van AI-crawlers is goed nieuws. Wat niet verboden is, is toegestaan.
Twee valkuilen. Een lege of ontbrekende robots.txt betekent volledige toegang, maar zegt niets over blokkades op serverniveau: Cloudflare, een WAF of een securityplugin kan AI-bots tegenhouden voordat robots.txt uberhaupt gelezen wordt. En andersom is een blokkade een instructie, geen slot. Niet elke partij houdt zich eraan, en uit onderzoek naar citaties blijkt dat een flink deel van de blokkerende nieuwssites alsnog in AI-antwoorden opduikt, onder meer omdat AI Overviews via Googlebot lopen en er voor sommige assistenten helemaal geen opt-out bestaat.
Wanneer een blokkade geen enkel probleem is
Voordat je nu elke geblokkeerde site van je lijst schrapt: dat zou een dure fout zijn. Een backlink van een site die AI buitensluit, doet voor klassieke SEO precies wat hij altijd deed. De autoriteit stroomt via Googlebot, en Googlebot komt daar gewoon binnen. Als je doel is beter ranken op je commerciele zoektermen, is de robots.txt van de uitgever niet je zorg.
De check wordt pas relevant als je een tweede doel hebt: genoemd worden in AI-antwoorden. Wij hebben eerder beschreven wat bepaalt of een AI-zoekmachine jou citeert en waarom het bijna altijd een specifieke alinea is die geciteerd wordt, niet je artikel. Dat mechanisme werkt alleen als de crawler bij die alinea kan komen. Staat je merknaam in een gastartikel op een open vakblog, dan is dat een citeerbare bron. Staat dezelfde tekst achter een blokkade, dan werkt hij voor rankings maar niet voor zichtbaarheid in ChatGPT of Perplexity.
Praktisch betekent dat een verdeling in plaats van een keuze. Persaandacht en geblokkeerde titels koop je voor autoriteit en bereik bij mensen, waarbij een vermelding in de regionale pers nog altijd zwaarder weegt dan tien gastblogs. Open vakbladen en nicheblogs koop je voor de combinatie van link en citeerbaarheid. Je wilt beide, maar je moet weten wat je van welke koopt.
Wat je bij de volgende bestelling anders doet
Drie dingen, en ze kosten samen geen budget.
Check de robots.txt voordat je bestelt, niet erna. Weet je dat een site OAI-SearchBot blokkeert, dan weet je ook dat die plaatsing puur een SEO-aankoop is. Dat kan een prima aankoop zijn, maar dan reken je hem niet mee in je AI-zichtbaarheid.
Kijk naar de retrieval-bots, niet naar de trainingsbots. GPTBot geblokkeerd en OAI-SearchBot toegestaan is de meest voorkomende situatie op sites die iets van AI-beleid hebben. Dat is voor jou een groen licht, want de citatie loopt via de retrieval-bot.
Verdeel je budget bewust over open en gesloten bronnen. Als je hele linkprofiel uit persvermeldingen bij gesloten uitgevers bestaat, bouw je autoriteit op die geen enkel taalmodel ooit ziet. Een deel op open vakbladen en nicheblogs vult precies dat gat, en het is nog het goedkopere deel ook.
De robots.txt van andermans site is de enige rankingfactor waar je niets aan kunt veranderen en die je toch volledig kunt inzien. Het zou zonde zijn om dat bestand niet te lezen voordat je een factuur laat sturen.
