Voordat een pagina kan scoren in Google, moet Google hem eerst kunnen vinden (crawlen) en daarna opslaan (indexeren). Op deze pagina leer je het verschil, waar het vaak misgaat, en hoe je controleert of jouw pagina’s goed worden opgenomen in de index.
Inhoud
- Wat is crawling?
- Wat is indexatie?
- Crawling vs. indexatie: het verschil
- Waarom een pagina in de index niet altijd vindbaar is
- Crawlability: zo maak je je site goed crawlbaar
- Zo check je of Google jouw pagina heeft geïndexeerd
- Veelvoorkomende problemen + oplossingen
1) Wat is crawling?
Crawling is het proces waarbij zoekmachines (zoals Google) webpagina’s bezoeken met een crawler (bijv. Googlebot). De crawler volgt links op je website om nieuwe of bijgewerkte pagina’s te ontdekken.
- Googlebot komt op een URL.
- Leest de pagina (HTML, resources, interne links).
- Volgt links naar andere pagina’s.
2) Wat is indexatie?
Indexatie betekent dat Google de inhoud van je pagina opslaat in de zoekindex. Pas als een pagina is geïndexeerd, kan die in theorie verschijnen in zoekresultaten.
3) Crawling vs. indexatie: het verschil
Kort gezegd: crawlen = ontdekken, indexeren = opslaan. Een pagina kan dus wel bezocht zijn door Google, maar alsnog niet in de index komen (of later weer verdwijnen).
4) Waarom een pagina in de index niet altijd vindbaar is
Een geïndexeerde pagina verschijnt niet automatisch op een zoekwoord. Google bepaalt dit per zoekopdracht. De belangrijkste redenen:
- Lage relevantie voor de zoekopdracht (content past niet goed bij de intentie).
- Concurrentie (andere pagina’s zijn sterker op autoriteit/kwaliteit).
- Dubbele of dunne content (weinig unieke waarde).
- Technische signalen (canonical naar andere URL, noindex, soft 404).
- Onvoldoende interne links (Google ziet de pagina als minder belangrijk).
5) Crawlability: zo maak je je site goed crawlbaar
Crawlability gaat over hoe makkelijk zoekmachines jouw pagina’s kunnen bereiken en lezen. Dit zijn de basisvoorwaarden voor een goed crawlbare website:
- Interne links naar belangrijke pagina’s (niet “verstopt”).
- Logische URL-structuur (kort, leesbaar, zonder rare parameters).
- Geen blokkades in robots.txt voor pagina’s die je wél in Google wilt.
- Geen noindex op pagina’s die je wilt laten ranken.
- Sitemap.xml die actuele URL’s bevat.
- Snelle laadtijd en geen serverfouten (5xx/4xx).
Hoe ziet een “crawlable link” eruit?
De veiligste vorm is een normale HTML-link:
<a href="https://jouwdomein.nl/pagina/">Anchor tekst</a>
Links die alleen via ingewikkelde scripts werken (of verborgen zijn achter events) kunnen minder betrouwbaar zijn voor crawlers.
6) Zo check je of Google jouw pagina heeft geïndexeerd
Dit kun je eenvoudig testen met een zoekopdracht in Google:
- site:
site:seo-testwebsite.nl(laat pagina’s zien die Google kent) - site + URL:
site:seo-testwebsite.nl/crawling-en-indexatie/ - site + onderwerp:
site:seo-testwebsite.nl crawling
Gebruik je Google Search Console, dan kun je met “URL inspectie” zien of een pagina is geïndexeerd en of er problemen zijn.
7) Veelvoorkomende problemen + oplossingen
-
Pagina wordt niet gevonden
Oplossing: interne links toevoegen + sitemap updaten. -
Pagina is ‘gecrawld maar niet geïndexeerd’
Oplossing: content uitbreiden (uniek + nuttig), duplicatie verminderen, duidelijke titel/H1. -
Pagina heeft noindex
Oplossing: noindex verwijderen als je wilt dat hij kan ranken. -
Canonical wijst naar andere pagina
Oplossing: canonical controleren en corrigeren. -
Te veel dunne pagina’s
Oplossing: samenvoegen, verbeteren, of op noindex zetten.
Verder leren
Wil je na crawling & indexatie doorpakken? Ga dan verder met deze onderdelen: