Zoekmachine Optimalisatie met Google Search Console: indexering • Modation Full Service Online Marketing bureau Nijmegen

Zoekmachine Optimalisatie met Google Search Console: indexering


Waarom Google Search Console?

Google Search Console is tegenwoordig heel geschikt om na te gaan of je geen positiedalingen hebt voor belangrijke zoektermen. Je kunt namelijk op landniveau exact de positieontwikkeling per zoekterm zien.
Met Search Console kun je ook snel bepalen hoe je je site verder kunt optimaliseren voor je online vindbaarheid (SEO).
In dit artikel leggen we je uit hoe je je vindbaarheid kunt verbeteren met Google Search Console. Via het rapport Dekking kun je zien hoe je de indexering voor Google kunt verbeteren.


Rapport Dekking

1). Allereerst is het belangrijk om het rapport ‘Sitemaps’ te bekijken, daarin staat het aantal gevonden URL’s. In het onderstaande voorbeeldrapport kun je zien dat 1.376 URL’s in de sitemap zijn gevonden (Afbeelding 1).

Afbeelding 1: Rapport sitemaps

Het aantal pagina’s in de sitemap is ook het aantal pagina’s dat Google uiteindelijk mag indexeren (ervan uitgaande dat een goede volledige sitemap is aangeboden aan Google Search Console).
Meestal wijkt het aantal door Google geïndexeerde pagina’s meestal af.

Veelal indexeert Google teveel pagina’s. Dat is onwenselijk omdat Google dan lastiger kan bepalen welke pagina’s daadwerkelijk van belang zijn. Belangrijke pagina’s worden ook minder goed vindbaar als onbelangrijke pagina’s worden geïndexeerd. Google verdeelt de linkpopulariteit en crawlbudget over irrelevante pagina’s.

2). Vervolgens ga je naar het rapport ‘Dekking‘. Het beste kun je alle tabbladen aanklikken voor een goed (trend)overzicht (neem dan ook vertoningen mee), sorteer vervolgens op pagina’s (Afbeelding 2).

Afbeelding 2: Rapport dekking

In de grafiek in bovenstaande afbeelding is te zien dat in totaal afgerond 90.000 pagina’s bekend zijn. Het aantal bekende pagina’s wijkt dus flink af van de 1.376 aangeboden pagina’s.
Uiteindelijk is het doel om het totaal aantal groen gemarkeerde pagina’s (met de status ingediend en geïndexeerd) zoveel mogelijk te laten overeenkomen met het aantal pagina’s in de sitemap).

De status details die betrekking hebben op veel pagina’s hebben meestal de hoogste prioriteit.

Statusredenen

Elke status (fout, waarschuwing, geldig, uitgesloten) kan een specifieke oorzaak hebben. De gegevens in de bovenstaande afbeelding zijn gegroepeerd op oorzaak.
Elke rij kan meerdere URL’s omvatten. Hieronder lichten we de statusmogelijkheden met veel voorkomende typen toe.


Fout

Pagina’s met fouten zijn uitgesloten van indexering. Onderstaand geven we specifieke fouttype meer informatie. Ook staat beschreven hoe je de fout kunt oplossen.
Soms hebben tijdelijke foutmeldingen zoals Serverfout (5xx) zelfs een hogere prioriteit dan reguliere foutmeldingen. Bij een Serverfout (5xx) retourneert de webserver een 500 foutmelding.
Als het gaat om slechts enkele pagina’s kun je beter meldingen onderzoeken die betrekking hebben op grotere aantallen pagina’s. De aantallen kun je zien in de rechterkolom (zie afbeelding 2).

  • Fout – Ingediende URL niet gevonden (404): Je hebt een niet-bestaande URL ingediend voor indexering. Verwijder deze URLs uit de sitemap. Klik vervolgens op oplossing valideren op de detailpagina van de foutmelding. Het kan wel dagen duren voordat updates beschikbaar zijn op de gevalideerde meldingen.
  • Fout – Probleem met crawlen voor ingediende URL: URL is uitgesloten van indexering door Google: indexeringsfouten. Klik op URL inspecteren. Je ziet dan direct in welke sitemap de URL is opgenomen en op welke verwijzende pagina’s de url staat. Klik vervolgens op live URL testen om te zien of de foutmelding nog steeds voorkomt. Als de foutmelding verholpen is voorkomt kun je de indexering opnieuw aanvragen.
  • Fout – Fout met omleiding: Er is een omleidingsfout ontstaan voor de URL. De oorzaak kan het gevolg zijn van één van de volgende fouttypes veroorzaakt worden:
    • De URL bevatte een te lang omleidingsketen;
    • De URL bevatte een omleidingslus;
    • De omleidings-URL overschreed uiteindelijk de maximale URL-lengte;
    • De omleidingsketen bevatte een onjuiste of lege URL.
  • Fout – Ingediende URL geblokkeerd door robots.txt: Je hebt deze pagina ingediend voor indexering, de pagina wordt welgeblokkeerd door robots.txt. De robots.txt geeft aan hoeverre de zoekmachines de pagina’s op je site mogen indexeren. Test je pagina met de robots.txt-tester. Verwijder de blokkering als je wilt dat de pagina wordt geïndexeerd.
  • Fout – Uitgesloten door tag noindex: Ingediende URL gemarkeerd als noindex: Ga na of je deze pagina’s nu wel of niet geïndexeerd wilt hebben. Zo nee verwijder ze uit de sitemap. Zo ja verwijder de noindex marketing:)
  • Fout – Ingediende URL is een soft 404: Google ziet een niet gevonden tekstmelding op deze pagina’s. Als het gaat om pagina’s in de sitemap dan is het natuurlijk zaak om die pagina’s te verwijderen uit de sitemap of een echte 404 foutmelding te tonen in plaats van alleen een niet gevonden tekst.
  • Fout – Ingediende URL retourneert ongeautoriseerd verzoek (401): De server heeft een 401-melding (niet geautoriseerd) gegeven. Verwijder deze pagina’s uit de sitemap of geef Google en daarmee de Google gebruikers toegang.

Waarschuwing

De pagina is geïndexeerd of is tot voor kort geïndexeerd geweest en bevat een probleem.

Waarschuwing – Geïndexeerd, maar geblokkeerd door robots.txt: De pagina is geïndexeerd ondanks het feit dat deze wordt geblokkeerd door robots.txt. Google volgt altijd de instructies in robots.txt op, dit heeft geen effect als bijvoorbeeld iemand links naar de pagina heeft geplaatst. Google geeft een waarschuwing omdat Google zich afvraagt of je de pagina wilt blokkeren in zoekresultaten. Als je deze pagina wilt blokkeren, is robots.txt de onjuiste methode om te voorkomen dat de pagina wordt geïndexeerd. Gebruik ‘noindex’ als je wilt voorkomen dat de pagina wordt geïndexeerd. Gebruik derobots.txt-tester om te bepalen door welke regel deze pagina wordt geblokkeerd.


Geldig

Pagina’s met een geldige status zijn geïndexeerd.

  • Geldig – Ingediend en geïndexeerd: De URLs zijn ingediend voor indexering en deze zijn geïndexeerd. Helemaal goed dus, niets aan wijzigen.
  • Geldig – Geïndexeerd, niet ingediend in sitemap: De URLs zijn wel geïndexeerd en kun je nog opnemen in de sitemap. Het advies om de belangrijke URL’s wel in te dienen via een sitemap. Wanneer bij deze statusmelding onbelangrijke URLs staan het advies om die uit te sluiten van indexering.
  • Geldig – Geïndexeerd, overweeg om te markeren als canoniek: De URL is geïndexeerd, Google beschouwt deze URL wel als canoniek ondanks dat de URL geen canonieke markering heeft. Verder in dit artikel meer over canonieke URLs. Bij veel en belangrijke pagina’s is het zaak om de canonieke markering technisch te implementeren.

Uitgesloten

Uitgesloten pagina’s worden veelal uitgesloten van indexering.
Tip: selecteer bij het dekkingsoverzicht in de drop down bij “Alle ingediende pagina’s voor Alle ingediende pagina’s”. Zo krijg je dus alleen de pagina’s waar je eventueel je echt een oplossing voor kunt realiseren.

  • Uitgesloten – Geblokkeerd door de tag noindex: Als de noindex pagina echter wel moet worden geïndexeerd is het vanzelfsprekend van belang om de noindex-instructie te verwijderen. Een melding dus om te onderzoeken.
  • Uitgesloten – Geblokkeerd door tool voor paginaverwijdering: De pagina wordt momenteel geblokkeerd door een URL-verwijderingsverzoek. Je hebt dus Google via een handmatig verzoek gevraagd deze URL te verwijderen van indexering. Als je wilt dat de pagina wordt uitgesloten van indexering kun je beter noindex gebruiken (dat is het meest betrouwbaar).
  • Uitgesloten – Geblokkeerd door robots.txt: Deze pagina wordt met een robots.txt-bestand geblokkeerd voor de Googlebot. MoPas de robots.txt aan als je wilt dat de pagina toch wordt geïndexeerd.
  • Uitgesloten – Geblokkeerd wegens ongeautoriseerd verzoek (401): De server heeft een 401-melding (niet geautoriseerd) gegeven. Verwijder deze pagina’s uit de sitemap of geef Google en daarmee de Google gebruikers toegang.
  • Uitgesloten – Crawlafwijking: Dit kan betekenen dat de webserver een foutmelding geeft. Klik door naar de detailpagina met voorbeelden. Klik vervolgens door op een recente pagina (zie onderstaande afbeelding voor een voorbeeld) en dan op URL inspecteren. Vanuit de URL-inspectie pagina kun je een indexering aanvragen. Mogelijk dat je dan direct de melding “Indexeringsverzoek afgewezen: Tijdens de live test zijn er indexeringsproblemen met de URL gevonden” ontvangt. Klik dan op live test aanvragen en je ontvangt meer informatie wat de reden is dat de pagina nog niet is geïndexeerd. Probeer de pagina op te halen met Fetchen als Google om te controleren of er zich problemen met het ophalen voordoen.
Afbeelding 3: screen shot crawlafwijking

  • Uitgesloten – Gecrawld – momenteel niet geïndexeerd: De pagina is wel door Google gecrawld en ook uitgesloten van indexering. De pagina krijgt dan geen vertoningen in de zoekresultaten. Het is mogelijk dat de pagina in de toekomst alsnog wordt geïndexeerd. Er is geen reden om de URL opnieuw in te dienen om te worden gecrawld. Eventueel kun je ongewenste pagina’s nog uitsluiten.
  • Uitgesloten – Gevonden – momenteel niet geïndexeerd: Doorgaans heeft Google geprobeerd de URL te crawlen en is de crawl voor een later moment gepland door een overbelaste site. Ga dan goed na of de site soms overbelast is. Eventueel kun je dan ook de ongewenste pagina’s nog uitsluiten.
  • Uitgesloten – Alternatieve pagina met correcte canonieke tag: Deze pagina is een duplicaat van een pagina die Google als canoniek herkent. Deze pagina bevat een correcte verwijzing naar de canonieke pagina. Doorgaans betekent dit dat de canonieke pagina wordt geïndexeerd. Je hoeft dus verder niets te doen.
  • Uitgesloten – Ingediende URL niet geselecteerd als canoniek: De URL is een duplicaat (duplicate content) en een andere URL is volgens Google een beter alternatief. Klik op URL-inspectie en je ziet welke URL Google dan wel heeft geselecteerd (als belangrijkste versie van die pagina). Vervolgens kun je direct die canonieke pagina inspecteren om na te gaan wat de actuele indexeringsstatus is.
  • Uitgesloten – Dubbele pagina zonder canonieke tag: Er zijn duplicaten van de pagina. Geen van de duplicaten is echter gemarkeerd als canoniek (belangrijkste pagina). Google denkt dat deze pagina niet de canonieke (belangrijkste) pagina is. Markeer dus de de canonieke pagina voor deze pagina. Bij inspectie van deze URL kun je de door Google geselecteerde canonieke URL zien.
  • Uitgesloten – Google heeft een andere canonieke pagina gekozen dan de gebruiker: Deze pagina is dan gemarkeerd als canoniek voor een reeks pagina’s. Toch ziet Google dat een andere URL een betere canonieke (belangrijkere) pagina is. Misschien kun je wel je canonieke keuzes aanpassen.
  • Uitgesloten – Dubbele niet-html-pagina: Deze pagina (bijvoorbeeld een pdf-bestand) is een duplicaat van een andere pagina die Google heeft gemarkeerd als canoniek. Veelal wordt alleen de canonieke URL weergegeven in Google.
  • Uitgesloten – Niet gevonden (404): De pagina retourneert een 404-fout wanneer de pagina wordt aangevraagd. Als je pagina is verplaatst, gebruik een 301-redirect naar de nieuwe locatie.
  • Uitgesloten – Soft 404: Het paginaverzoek retourneert een reactie die Google als soft 404-reactie beschouwt. Dit betekent dat er een gebruiksvriendelijk bericht met de tekst ‘niet gevonden’ wordt weergegeven zonder een 404-reactiecode. Het advies om een 404-reactiecode te retourneren voor pagina’s die niet zijn gevonden of meer informatie toe te voegen aan de pagina om Google te laten weten dat dit geen soft 404 is.
  • Uitgesloten – Pagina verwijderd wegens juridische klacht: Spreekt voor zich.
  • Uitgesloten – Pagina met omleiding: De URL is een omleiding (redirect) en is daarom uitgesloten van indexering.
  • Uitgesloten – In wachtrij voor crawlen: De pagina staat in de wachtrij om te worden gecrawld. Controleer na een paar dagen nog eens of de pagina al is gecrawld.
  • Uitgesloten – Ingediende URL is verwijderd: De pagina is om onbekende reden verwijderd uit de index. Een wat vage melding die gelukkig weinigvoorkomt.

Loop het rapport dekking periodiek na. Los de issues op en verbeter je organische vindbaarheid.

Wil je advies over jouw SEO? Neem dan gerust contact met ons op!