Wat is Google indexeren en crawlen?

Wat is crawlen en indexeren website google

Indexeren van de pagina’s is een belangrijk onderdeel voor de SEO van jouw website. Bij het indexeren wordt er bepaald of je pagina in de zoekmachine komt of niet.

Wat is crawlen?

Bij crawlen tijgeren de Google robots door je pagina’s en bepalen ze welke pagina’s relevante informatie leveren. De relevante pagina’s worden vervolgens geïndexeerd. Crawlers volgen de links op pagina’s om zo de andere pagina’s op je website te vinden.

Wat is indexeren in Google?

Als je een pagina aanmaakt wordt deze bekeken door de webcrawlers van Google. Deze bekijken je pagina en beoordelen of je informatie relevant genoeg is voor Google. Als je informatie relevant genoeg is voor Google wordt je pagina geïndexeerd en kun je op bepaalde zoektermen gevonden worden.

Bevorderen van indexeren

Om Google bots te helpen met het crawlen van je pagina is een goede structuur belangrijk. Als je structuur van je pagina goed is kunnen de Google bots beter/sneller begrijpen wat er precies op de pagina staat. De structuur van je pagina kun je bevorderen door:

  • Aanwezigheid keywords/zoekwoorden
  • URL met het onderwerp van de pagina erin
  • Inhoud van de pagina
  • Headings: aanwezigheid van headings (H1 titel, H2 en H3)

Waarom wordt mijn pagina niet geïndexeerd door Google?

Als je een nieuwe pagina maakt wil je natuurlijk dat deze zo snel mogelijk in Google verschijnt. Als dit niet gebeurd is, kan dit verschillende redenen hebben. De meest voorkomende redenen zijn:

  1. Je pagina of website is nieuw: Google heeft nog niet de tijd gehad om je pagina te bekijken. Hierdoor is deze nog niet geïndexeerd door Google. Om dit proces te versnellen kun je je pagina indienen in Google Search Console onder het kopje URL-inspectie. Klik vervolgens op “Indexering aanvragen”.
  2. Je pagina staat op noindex: Je pagina staat ingesteld op noindex. Als je pagina op noindex staat dan vraag je Google om deze pagina niet te indexeren. Zet je pagina altijd op index als je wilt dat je pagina geïndexeerd wordt.
  3. Ook is een duidelijke navigatie belangrijk. Zorg dat al je pagina’s binnen een paar kliks te bereiken zijn vanaf je homepagina. Dit kan door je pagina’s in een menu te zetten of gebruik te maken van interne links.
  4. Je hebt geen sitemap ingediend: Door een sitemap in te dienen bij Google Search Console begrijpen de Googlebots beter de structuur van je website. Hierdoor worden je pagina’s sneller geïndexeerd.
  5. Een te lage autoriteit: Als je een lage autoriteit hebt, betekent dit vaak dat je weinig (goede) backlinks hebt. Als je veel backlinks met een hoge autoriteit naar je website hebt, verkrijg je een hogere autoriteit. Dit kan een positief effect op je indexatie hebben.
  6. Dubbele content: De content die je hebt gepubliceerd is al een keer eerder gepubliceerd. Hierdoor komt de pagina waarschijnlijk niet of niet goed naar voren in Google. Wil je checken of je veel dubbele content (in het Engels duplicate content) hebt? Bekijk dan Duplicate content check voor Google SEO.
  7. Laag crawlbudget: Google bepaalt aan de hand van het type website wat je hebt hoe vaak die je website crawlt. Als je een nieuwswebsite bent zul je veel vaker gecrawlt worden dan een website over de geschiedenis.

Heeft Google crawlproblemen?

Soms heb je alles gedaan om het crawlen zoveel mogelijk te bevorderen, maar word je nog steeds niet geïndexeerd. Dit kan er mee te maken hebben dat Google problemen heeft met het indexeren van alle pagina’s. Door de enorme toenames van nieuwe websites wordt het voor Google steeds moeilijker om alle pagina’s te kunnen indexeren. Veel SEO marketeers merken dat hun pagina’s niet geïndexeerd worden ondanks de SEO optimalisaties die ze uitvoeren.

Ook zou dit minder crawlen kunnen komen door de spamupdates die Google dit jaar heeft gelanceerd. Google heeft dit jaar 3 spam updates gelanceerd waardoor er kritischer gekeken wordt naar je websites.

Hoe kun je zien of je pagina’s geïndexeerd zijn?

Je kunt zien of je pagina’s geïndexeerd zijn in Google Search Console. Onder het kopje dekking vind je al je pagina’s. Al je uitgesloten pagina’s zijn pagina’s die wel gecrawld zijn, maar niet geïndexeerd.

Kan ik zien hoe vaak Google mijn website crawlt?

Ook kun je in Google Search Console zien hoe vaak Google je website crawlt. Volg hiervoor de volgende stappen:

Stap 1: Ga naar instellingen

Stap 2: Klik op rapport openen

Hierin is te zien hoe vaak je website is gecrawld. Zoals te zien is is deze website in 3 maanden tijd 16.300 keer gecrawld. Dit betekent dat Google 16.300 keer een pagina heeft bekeken op de website.

Wat kun je doen tegen deze crawlproblemen?

Als je ook problemen hebt met geïndexeerd worden is het aan te raden om veel content te blijven publiceren. Door constant nieuwe content te blijven publiceren blijft Google je site crawlen wat de kans vergroot dat je wel geïndexeerd wordt.

Ook werken backlinks goed van websites die vaak gecrawld worden zoals nieuwswebsites. Google volgt links en zal door deze backlinks ook vaker op je website terecht komen.

Ook kun je je content verbeteren op de pagina’s die niet geïndexeerd worden. Je zou waardevolle content kunnen toevoegen aan de pagina’s om je te onderscheiden van de concurrent. Dit kunnen afbeeldingen, video’s of teksten zijn. Om hoog in Google te komen moet je kijken of je meer waarde toevoegt dan je concurrent.

Bekijk de structuur van je website. Zijn al je pagina’s te bereiken via je homepagina? Zit je website logisch in elkaar?

Ook kun je kijken of je website technisch goed in elkaar zit. Een snelle site en een site die mobiel responsive is is een belangrijke factor voor je positie van je website. Wil je je website snelheid nakijken? Gebruik dan de tool Pagespeed Insights van Google. Als je wilt bekijken of je website Mobielvriendelijk is doe dan de Mobielvriendelijke test. Wil je nog meer weten over technische SEO? Bekijk dan de pagina technische SEO.