Opent in een nieuw tabblad

SEO

Technische SEO voor beginners: crawlen, renderen en indexeren

Voordat een pagina kan ranken, moet Google haar vinden, kunnen lezen en willen opslaan. Zo werken die drie stappen, en zo ontdek je waar het bij jouw site misgaat.

Door Manifest Digital Studio6 min lezen

In het kort

  • Een pagina moet eerst gecrawld, gerenderd en geïndexeerd worden voordat hij kan ranken.
  • Robots.txt regelt crawlen, terwijl noindex bepaalt of een pagina in de index komt.
  • Belangrijke content en links horen in de HTML die de server teruggeeft, niet alleen in JavaScript.
  • Een canonical is een hint die Google kan negeren als andere signalen tegenstrijdig zijn.
  • Het rapport Pagina's in Search Console laat per URL zien waarom die niet geïndexeerd is.

Technische SEO zorgt ervoor dat zoekmachines je website kunnen crawlen (pagina’s vinden), renderen (de pagina opbouwen zoals een browser dat doet) en indexeren (opslaan in de zoekindex). Gaat er in één van die drie stappen iets mis, dan doet je content niet mee in de zoekresultaten, hoe goed hij ook is. Technische SEO is dus geen luxe voor later, maar de fundering onder alles wat je met content en links doet.

In dit artikel lopen we de drie stappen één voor één door, in gewone taal. Je hoeft geen developer te zijn om te begrijpen waar het misgaat. Wel handig: toegang tot Google Search Console, want daar zie je veel van wat hieronder staat terug.

Waarom technische SEO de basis is

Zoekmachines werken in een vaste volgorde. Eerst ontdekt een crawler een URL, daarna haalt hij de HTML op, vervolgens wordt de pagina gerenderd en pas daarna besluit Google of de pagina in de index komt. Ranken is de laatste stap, en die kan alleen plaatsvinden voor pagina’s die de eerdere stappen hebben overleefd.

Dat klinkt vanzelfsprekend, maar in de praktijk zien we vaak websites waar het fundament scheef staat:

  • een noindex-tag die na de lancering van een nieuwe site is blijven staan;
  • belangrijke pagina’s die alleen bereikbaar zijn via een zoekfunctie of filter, zonder gewone links;
  • content die pas met JavaScript verschijnt en daardoor laat of onvolledig wordt opgepakt;
  • tientallen varianten van dezelfde pagina door parameters in de URL, zonder canonical.

Als je wilt weten wat SEO in bredere zin inhoudt, lees dan eerst onze uitleg over wat SEO is. Hier zoomen we in op de technische kant.

Stap 1: crawlen, hoe Google je pagina’s vindt

Googlebot ontdekt nieuwe URL’s vooral via links: interne links op je eigen site, backlinks van andere sites en je XML-sitemap. Een pagina waar nergens naartoe gelinkt wordt, noemen we een weespagina. Die kan in een sitemap staan, maar Google ziet haar dan als minder belangrijk.

Robots.txt: de portier van je site

Het bestand /robots.txt vertelt crawlers welke delen van je site ze niet mogen bezoeken. Belangrijk om te weten: robots.txt regelt crawlen, niet indexeren. Blokkeer je een pagina in robots.txt, dan kan Google de inhoud niet lezen, maar kan de URL zonder beschrijving alsnog in de resultaten verschijnen als er links naartoe wijzen. Wil je een pagina echt uit de index houden, gebruik dan noindex en laat crawlen juist toe, anders ziet Google die tag nooit.

Crawlbudget: vooral relevant voor grote sites

Google besteedt per site een beperkte hoeveelheid tijd aan crawlen. Voor een mkb-site met een paar honderd pagina’s is dat zelden een probleem. Bij webshops met filters, sorteeropties en duizenden parametercombinaties wel. Dan wil je voorkomen dat Googlebot zijn tijd verspilt aan eindeloze varianten van dezelfde categoriepagina.

Stap 2: renderen, wat Google daadwerkelijk ziet

Na het ophalen van de HTML rendert Google de pagina met een recente versie van Chromium. Dat betekent dat Google JavaScript kan uitvoeren. Maar renderen kost rekenkracht en gebeurt niet altijd direct. Content die alleen in de browser wordt opgebouwd, loopt daardoor het risico later of onvolledig te worden verwerkt.

Vuistregels die je veel ellende besparen:

  • Zet de belangrijkste content, koppen en interne links gewoon in de HTML die de server teruggeeft.
  • Gebruik echte <a href="...">-links voor navigatie, geen klikbare div’s met JavaScript.
  • Blokkeer CSS- en JavaScript-bestanden niet in robots.txt; Google heeft ze nodig om de pagina goed op te bouwen.
  • Controleer met de URL-inspectietool in Search Console hoe Google de gerenderde pagina ziet.

Renderen hangt ook samen met snelheid. Een pagina die zwaar leunt op scripts is vaak trager voor bezoekers én lastiger voor crawlers. Over de gebruikerskant schreven we eerder in Core Web Vitals uitgelegd voor ondernemers.

Stap 3: indexeren, of je pagina wordt opgeslagen

Een gecrawlde en gerenderde pagina komt niet automatisch in de index. Google beoordeelt of de pagina uniek en nuttig genoeg is, en welke URL de ‘echte’ versie is als er meerdere varianten bestaan. De belangrijkste signalen die je zelf in de hand hebt:

Signaal Wat het doet Veelgemaakte fout
meta robots noindex Vraagt Google de pagina niet te indexeren Blijft na livegang staan op de hele site
rel="canonical" Geeft aan welke URL de voorkeursversie is Verwijst naar een pagina die zelf noindex of een redirect is
XML-sitemap Lijst met URL’s die je geïndexeerd wilt hebben Bevat redirects, 404’s of noindex-pagina’s
HTTP-statuscode 200 = oké, 301 = verhuisd, 404/410 = weg Foutpagina’s die toch 200 teruggeven (soft 404)
Interne links Laten zien welke pagina’s belangrijk zijn Belangrijke pagina’s zitten vier of vijf klikken diep

Let op: een canonical is een hint, geen bevel. Als je canonical tegenstrijdig is met je interne links of sitemap, kan Google een andere URL kiezen. Consistentie is daarom belangrijker dan elk signaal afzonderlijk.

Het rapport ‘Pagina’s’ in Search Console

In Search Console vind je onder Indexeren het rapport met pagina’s die wel en niet geïndexeerd zijn, inclusief de reden. Meldingen als ‘Gecrawld – momenteel niet geïndexeerd’ wijzen vaak op een kwaliteits- of duplicatieprobleem, terwijl ‘Uitgesloten door noindex-tag’ meestal een instellingsfout is. Lees die redenen goed; ze vertellen je precies in welke van de drie stappen het misgaat.

Technische SEO-basics die elke site op orde moet hebben

Naast crawlen, renderen en indexeren zijn er een paar onderdelen die bij vrijwel elke technische SEO-check terugkomen:

  • HTTPS op alle pagina’s, met één vaste variant (met of zonder www) en redirects vanaf de rest.
  • Mobielvriendelijkheid: Google indexeert op basis van de mobiele versie van je site. Ontbreekt content op mobiel, dan bestaat die voor Google feitelijk niet.
  • Snelheid: de Core Web Vitals-drempels zijn LCP ≤ 2,5 seconden, INP ≤ 200 ms en CLS ≤ 0,1.
  • Logische URL-structuur: korte, leesbare URL’s die de opbouw van je site weerspiegelen.
  • Gestructureerde data waar het past, zoals Organization, LocalBusiness of Article, zodat zoekmachines je content beter begrijpen.

Draait je site op WordPress, dan zit een groot deel van de snelheidswinst vaak in thema, plugins en hosting. In WordPress sneller maken zonder tien plugins lees je hoe je dat aanpakt.

Zo pak je het aan: technische SEO-check in 6 stappen

  1. Koppel Google Search Console en dien je XML-sitemap in. Zonder deze data werk je blind.
  2. Controleer de indexeringsstatus in het rapport Pagina’s. Noteer welke belangrijke URL’s niet geïndexeerd zijn en waarom.
  3. Bekijk je robots.txt en zoek naar regels die per ongeluk belangrijke mappen, CSS of JavaScript blokkeren.
  4. Inspecteer een paar kernpagina’s met de URL-inspectietool: staan je content en links in de gerenderde HTML? Klopt de canonical die Google kiest?
  5. Crawl je eigen site met een crawler (veel tools hebben een gratis versie voor kleinere sites) en zoek naar 404’s, redirectketens, dubbele titels en weespagina’s.
  6. Prioriteer: los eerst blokkades op (noindex, robots.txt, serverfouten), daarna duplicatie, en pas daarna snelheid en finetuning.

Stel: een installatiebedrijf in Breda lanceert een nieuwe website en ziet na een maand nauwelijks verkeer. Een snelle check in Search Console laat zien dat de staging-instelling ‘zoekmachines ontmoedigen’ in WordPress nog aanstaat. Eén vinkje, en de hele site staat op noindex. Dit soort fouten vind je alleen als je bewust kijkt.

Wil je niet zelf door rapporten spitten? Met onze gratis SEO- en GEO-scan krijg je een overzicht van de grootste technische knelpunten op je site. Voor de officiële documentatie kun je terecht bij Google Search Central.

Conclusie

Technische SEO draait om drie vragen: kan Google je pagina vinden, kan hij hem goed lezen en wil hij hem opslaan? Werk die volgorde af en los blokkades op voordat je aan finetuning begint. Een site die technisch klopt, laat elke euro die je in content en linkbuilding steekt beter renderen.

Twijfel je of jouw site die basis op orde heeft? Laat het ons dan uitzoeken met een technische SEO-analyse en optimalisatie die precies laat zien waar je winst laat liggen.

Veelgestelde vragen

Wat is het verschil tussen crawlen en indexeren?

Crawlen is het bezoeken en ophalen van een pagina door Googlebot. Indexeren is de beslissing om die pagina op te slaan zodat hij in de zoekresultaten kan verschijnen.

Kan ik een pagina uit Google houden met robots.txt?

Niet betrouwbaar. Robots.txt voorkomt alleen dat Google de pagina leest, de URL kan nog steeds verschijnen. Gebruik een noindex-tag en laat crawlen toe.

Kan Google JavaScript lezen?

Ja, Google rendert pagina's met een recente Chromium-versie. Toch is het veiliger om belangrijke content en links direct in de HTML te zetten, omdat renderen later kan plaatsvinden.

Heeft een kleine website last van crawlbudget?

Zelden. Crawlbudget speelt vooral bij grote sites en webshops met veel URL-varianten door filters en parameters.

Manifest Digital Studio

Wij bouwen gedurfde, snelle websites en maken merken vindbaar in Google en AI-zoekmachines. Vragen over dit artikel? Stel ze direct aan de developer.