Eerst zoeken, dan samenvatten
Een AI-assistent kan een vraag op twee manieren beantwoorden. De eerste is uit zijn training: wat het taalmodel eerder heeft geleerd, met een einddatum en zonder bronvermelding. De tweede is live zoeken: de assistent zoekt op het moment van de vraag op internet en schrijft zijn antwoord op basis van wat hij vindt.
Die tweede route heet in vaktaal retrieval-augmented generation, kortweg RAG: eerst ophalen, dan pas schrijven. Google en Microsoft spreken van grounding, het verankeren van een antwoord in zoekresultaten. Alleen bij deze route staan er bronnen bij het antwoord, en alleen hier kan jouw website meedoen op het moment dat een klant zijn vraag stelt.
Niet elke vraag leidt tot een zoekopdracht. ChatGPT zoekt volgens OpenAI automatisch als een vraag baat heeft bij actuele informatie, Copilot bij gesprekken waarin iemand informatie zoekt. Gebruikers kunnen er ook zelf om vragen.
Van vraag naar antwoord met bronnen
- 1
Vraag
Iemand typt of spreekt een vraag in gewone taal.
- 2
Zoekopdrachten
De assistent maakt er een of meer korte zoekvragen van.
- 3
Zoekindex
Een eigen index, die van Google of die van Bing.
- 4
Selectie
De bruikbaarste pagina's en tekstdelen worden gekozen.
- 5
Antwoord
Een samenvatting met links naar de gekozen bronnen.
Hoe de zoekstap werkt, beschrijven de partijen elk in eigen woorden. Volgens OpenAI herschrijft ChatGPT een vraag tot een of meer gerichte zoekopdrachten en stuurt het soms specifiekere vervolgvragen. Google noemt dit bij AI-overzichten en AI-modus “query fan-out”: meerdere verwante zoekopdrachten over deelonderwerpen. Microsoft legt uit dat Copilot Chat van een vraag een zoekopdracht van een paar woorden maakt en die naar Bing stuurt.
Bij de selectie kan het om een los stuk tekst gaan in plaats van een hele pagina. Perplexity knipt pagina's op in zelfstandige tekstdelen die apart worden opgehaald en gerangschikt. Bing schrijft in zijn richtlijnen voor webmasters dat pagina's waarvan de inhoud op zichzelf te begrijpen is, vaker als bron worden gekozen.
ChatGPT, Perplexity, Gemini en Copilot naast elkaar
Het grootste verschil zit in waar een assistent zoekt en welke crawler daarvoor je website bezoekt. Een crawler is een programma dat automatisch webpagina's ophaalt; in robots.txt spreek je hem aan met zijn naam, de user-agent.
| Platform | Zoekt in | Crawler voor antwoorden | Aparte regeling voor AI | Bronnen in beeld |
|---|---|---|---|---|
| ChatGPT | Eigen zoeksysteem plus externe zoekpartners | OAI-SearchBot | GPTBot, alleen voor training van modellen | Verwijzingen in de tekst en een knop Bronnen |
| Perplexity | Eigen zoekindex | PerplexityBot | Niet nodig: PerplexityBot wordt niet voor training gebruikt | Genummerde bronverwijzingen bij elk antwoord |
| Google Gemini | Zoekindex van Google | Googlebot | Google-Extended, voor training en voor bronnen in Gemini | Knop Bronnen of verwijzingen in de tekst, met zijpaneel |
| Google AI-overzichten en AI-modus | Zoekindex van Google | Googlebot | Geen aparte crawler; wel snippetregels zoals nosnippet | Links bij het antwoord |
| Microsoft Copilot | Zoekindex van Bing | bingbot | Meta-tags NOARCHIVE en NOCACHE | Aanklikbare bronvermeldingen onder het antwoord |
Daarnaast zijn er bezoekers die alleen langskomen als een gebruiker erom vraagt, bijvoorbeeld door een link in de chat te plakken: ChatGPT-User, Perplexity-User en bij Google onder meer Google-Agent. Omdat een mens de opdracht geeft, houden ze zich volgens de eigen documentatie meestal niet aan robots.txt. OpenAI zegt er expliciet bij dat ChatGPT-User niet bepaalt of je in de zoekresultaten van ChatGPT verschijnt.
Wat elk platform zelf publiceert
De documentatie verschilt sterk in detail. Hieronder staat per platform wat de partij zelf zegt, en waar de uitleg ophoudt.
ChatGPT: eigen crawler en zoekpartners
ChatGPT gebruikt voor webzoeken de crawler OAI-SearchBot. Volgens OpenAI moet je die toelaten om in aanmerking te komen voor de zoekresultaten in ChatGPT, en moet je hosting of CDN verkeer vanaf de gepubliceerde IP-adressen van OpenAI doorlaten. Blokkeer je OAI-SearchBot, dan verschijn je niet meer in de antwoorden, hooguit nog als navigatielink. Een wijziging in robots.txt is na ongeveer 24 uur verwerkt.
Daarnaast werkt ChatGPT met externe zoekpartners; OpenAI verwijst daarbij naar de privacyverklaringen van Microsoft en Shopify. Hoe zwaar die resultaten wegen tegenover de eigen crawl, vertelt OpenAI niet. GPTBot is een aparte crawler voor training. Blokkeren raakt het zoeken in ChatGPT niet: volgens OpenAI staat elke instelling los van de andere.
In het antwoord staan verwijzingen in de tekst; de knop Bronnen toont de geciteerde pagina's en andere relevante links. Over de rangschikking zegt OpenAI alleen dat meerdere factoren meewegen en dat een plek niet gegarandeerd is. Wat je als bedrijf concreet kunt doen, staat in de gids vindbaar worden in ChatGPT.
Perplexity: een eigen zoekindex
Perplexity bouwt een eigen zoekindex met de crawler PerplexityBot. Volgens Perplexity houdt die crawler zich aan robots.txt en wordt hij niet gebruikt om AI-modellen te trainen. Perplexity raadt aan PerplexityBot toe te laten als je in de resultaten wilt verschijnen. Gebruik je een webapplicatiefirewall, zoals die van Cloudflare, dan adviseert Perplexity de crawler door te laten op basis van zijn user-agent en de gepubliceerde IP-adressen.
Bij het zoeken haalt Perplexity de relevantste tekstdelen op en laat krachtigere modellen de definitieve volgorde bepalen. Elk antwoord krijgt genummerde verwijzingen naar de originele pagina's.
Google Gemini en AI-overzichten: de zoekindex van Google
De AI-overzichten en AI-modus in Google Zoeken werken met de gewone zoekindex. Google stelt geen extra eisen: een pagina moet geïndexeerd zijn en in aanmerking komen voor een tekstfragment in de zoekresultaten. Volgens Google heb je ook geen nieuwe machineleesbare bestanden, AI-tekstbestanden of speciale schema.org-gegevens nodig. De toegang regel je via Googlebot. Wil je minder van een pagina laten zien, dan gebruik je snippetregels zoals nosnippet of max-snippet. Hoe de overzichten eruitzien en hoe Google de links kiest, lees je in de gids over AI-overzichten in Google.
De Gemini-app haalt actuele informatie ook uit de zoekindex van Google. Hier speelt een extra token mee: Google-Extended. Daarmee bepaal je of Google je content mag gebruiken voor het trainen van Gemini-modellen en voor grounding in de Gemini-apps. Het is geen aparte crawler, alleen een naam in robots.txt, en het heeft volgens Google geen invloed op opname of ranking in Google Zoeken. Blokkeer je het, dan blijf je dus vindbaar in Google, maar kan je content buiten de antwoorden van Gemini vallen.
Gemini toont bronnen via een knop Bronnen onder het antwoord of via verwijzingen in de tekst, die een zijpaneel met links openen. Niet elk antwoord heeft bronnen.
Microsoft Copilot: de zoekindex van Bing
Copilot baseert antwoorden op informatieve vragen op zoekresultaten van het web en zet aanklikbare bronvermeldingen onder de tekst. Voor de zakelijke Copilot Chat schrijft Microsoft concreet dat de zoekopdrachten naar de zoekdienst van Bing gaan. En volgens de richtlijnen voor webmasters draaien Bing en Copilot op hetzelfde fundament van crawlen, indexeren en rangschikken.
Er is daarom geen aparte Copilot-crawler om toe te laten: het gaat om bingbot. Bing heeft wel extra regels voor AI. Met de meta-tag NOARCHIVE wordt een pagina niet gebruikt in Copilot-antwoorden. Met NOCACHE gebruikt Copilot alleen de URL, de titel en het tekstfragment. NOINDEX houdt een pagina buiten Bing, Copilot en de grounding-API van Bing.
Sinds februari 2026 toont Bing Webmaster Tools in het rapport AI Performance hoe vaak je pagina's als bron worden genoemd in Copilot, in AI-samenvattingen in Bing en bij een aantal partners. Microsoft noemt de cijfers een steekproef, geen volledig logboek.
Wat de platforms niet vertellen
Geen van de vier publiceert een lijst met factoren waarop bronnen worden gekozen. OpenAI houdt het op meerdere factoren. Google zegt dat voor AI-overzichten dezelfde basis geldt als voor gewone zoekresultaten, zonder speciale optimalisatie. Perplexity beschrijft de techniek, niet de criteria.
Bing is het meest concreet. Volgens de richtlijnen komen pagina's eerder in aanmerking als ze over één onderwerp gaan, de kern bovenaan noemen, feiten en definities expliciet maken, entiteiten zoals bedrijfsnamen, producten en plaatsen consequent benoemen en actueel zijn. Bing schrijft er ook bij dat GEO geen bronvermeldingen in AI-antwoorden garandeert. Wie je een vaste plek in ChatGPT of Copilot belooft, belooft dus iets wat geen enkel platform zelf toezegt.
Toegang regelen in robots.txt
robots.txt is een tekstbestand in de hoofdmap van je website (voorbeeld.nl/robots.txt) waarin je per crawler aangeeft wat hij mag lezen. OpenAI en Google gebruiken aparte namen voor zoeken en voor training, dus die keuzes maak je los van elkaar.
Staat een crawler nergens genoemd en is er geen algemene blokkade, dan mag hij alles lezen. Het voorbeeld noemt de zoekcrawlers toch, om te laten zien welke naam bij welke partij hoort.
robots.txt
User-agent: OAI-SearchBotAllow: / User-agent: PerplexityBotAllow: / User-agent: GooglebotAllow: / User-agent: bingbotAllow: / User-agent: GPTBotDisallow: / User-agent: Google-ExtendedAllow: / Sitemap: https://www.voorbeeld.nl/sitemap.xml- 1
User-agent: OAI-SearchBotZoeken in ChatGPT. Blokkeren betekent: niet meer in ChatGPT-antwoorden. - 2
User-agent: PerplexityBotBouwt de zoekindex van Perplexity. - 3
User-agent: GooglebotGoogle Zoeken, AI-overzichten, AI-modus en de index die Gemini gebruikt. - 4
User-agent: bingbotBing en daarmee Copilot. - 5
User-agent: GPTBotAlleen training van OpenAI-modellen. Blokkeren raakt ChatGPT-zoeken niet. - 6
User-agent: Google-ExtendedTraining van Gemini en bronnen in de Gemini-apps. Blokkeren raakt Google Zoeken niet, Gemini mogelijk wel. - 7
Sitemap: https://www.voorbeeld.nl/sitemap.xmlWijst crawlers de weg naar al je pagina's.
Let daarbij op twee valkuilen. De eerste: volgens de robots.txt-standaard volgt een crawler maar één groep regels, namelijk de groep die het specifiekst bij zijn naam past. Heeft OAI-SearchBot een eigen blok, dan negeert hij wat er onder User-agent: * staat. Staat er alleen een algemene blokkade, bijvoorbeeld nog uit de bouwfase, dan geldt die voor iedereen.
De tweede: robots.txt is niet de enige poort. Een firewall, de botbeveiliging van je CDN of een beveiligingsplugin kan AI-crawlers tegenhouden terwijl robots.txt ze toelaat. Daarom publiceren OpenAI en Perplexity de IP-adressen van hun crawlers. Met de gratis AI-zichtbaarheidscheck zie je of je robots.txt AI-crawlers blokkeert en of je tekst zonder JavaScript leesbaar is.
Wat betekent dit voor je bedrijf?
Uit de vergelijking volgen vijf concrete punten.
- Zorg dat je ook in Bing goed staat. Copilot draait op de index van Bing, en OpenAI noemt Microsoft bij de zoekpartners van ChatGPT. Meld je site aan bij Bing Webmaster Tools, dien je sitemap in en geef wijzigingen door met IndexNow, zoals Bing zelf aanraadt.
- Blokkeer geen zoekcrawlers per ongeluk. Controleer robots.txt en de instellingen van je hosting, CDN of firewall op OAI-SearchBot, PerplexityBot, Googlebot en bingbot.
- Kies bewust wat je met training doet. GPTBot en Google-Extended gaan over gebruik voor AI-modellen. GPTBot blokkeren raakt het zoeken in ChatGPT niet; Google-Extended blokkeren kan je zichtbaarheid in Gemini wel raken.
- Schrijf passages die op zichzelf staan. Perplexity haalt losse tekstdelen op en Bing kiest liever pagina's die op zichzelf te begrijpen zijn. Een alinea die een vraag direct en volledig beantwoordt, met namen, plaatsen en feiten erin, is bruikbaarder dan algemene wervende tekst. Hoe je dat breder aanpakt, lees je in de uitleg wat GEO is.
- Meet waar je wordt genoemd. Google telt verkeer uit AI-overzichten mee in Search Console onder het zoektype Web. Bing toont bronvermeldingen in Copilot in Bing Webmaster Tools. Meer daarover in AI-zichtbaarheid meten.
Bereikbaar voor AI-zoekmachines?
Zo blijf je in beeld
- Wel: Zoekcrawlers toegelaten in robots.txt
- Wel: Firewall en CDN laten geverifieerde crawlers door
- Wel: Site aangemeld bij Google én Bing
- Wel: Belangrijke tekst staat in de HTML
- Wel: Kerninformatie bovenaan de pagina
Zo sluit je jezelf uit
- Niet: Algemene blokkade uit de bouwfase laten staan
- Niet: Botbeveiliging die alle onbekende bots weert
- Niet: Alleen op Google letten, Bing vergeten
- Niet: Inhoud die pas via JavaScript verschijnt
- Niet: Google-Extended blokkeren zonder het gevolg te kennen
Omdat AI-overzichten en Copilot op gewone zoekindexen leunen, blijft een gezonde SEO-basis het fundament. Wil je weten hoe jouw website er nu voor staat? De gratis scan bekijkt je vindbaarheid in Google en in AI-antwoorden en geeft je de drie verbeteringen met het meeste effect. Wil je het daarna structureel laten oppakken, dan is er de dienst GEO voor zichtbaarheid in AI-antwoorden.
Bronnen
- Overview of OpenAI Crawlers · OpenAI (opent in een nieuw tabblad)
- Searching the web with ChatGPT · OpenAI Help Center (opent in een nieuw tabblad)
- Perplexity Crawlers · Perplexity (opent in een nieuw tabblad)
- AI features and your website · Google Search Central (opent in een nieuw tabblad)
- Google's common crawlers · Google (opent in een nieuw tabblad)
- Bing Webmaster Guidelines · Microsoft Bing (opent in een nieuw tabblad)