SolvoForce

Bepalen welke pagina's Google mag bezoeken en tonen

Maatwerk software en websites

Een testpagina wilt u meestal niet in Google zien, terwijl uw dienstenpagina juist vindbaar moet zijn. Daarvoor bestaan verschillende instellingen, waaronder robots.txt en noindex. SolvoForce kan controleren welke instelling bij uw bedoeling past en of de instellingen elkaar niet onbedoeld tegenwerken.

Begin bij het gewenste gedrag

Bepaal of inhoud openbaar mag zijn, geïndexeerd moet worden en door een crawler opgehaald mag worden. Vertrouwelijke dossiers horen achter echte toegangscontrole. Robots.txt is geen beveiliging en noindex voorkomt niet dat iemand een openbare URL bezoekt. Schrijf de gewenste situatie per paginatype op voordat regels worden toegevoegd, zodat techniek en publicatiebeleid dezelfde bedoeling volgen.

Voorkom tegenstrijdige aanwijzingen

Wanneer een crawler de pagina niet mag ophalen, kan hij een noindex-instructie op die pagina niet beoordelen. Een geblokkeerde URL kan daardoor toch bekend blijven als verwijzing. Controleer daarom niet alleen het robotsbestand, maar ook de daadwerkelijk opgehaalde pagina en eventuele HTTP-headers. De instructie moet op de juiste plek beschikbaar zijn voor het beoogde resultaat.

Houd test en productie uit elkaar

Een testomgeving kan afgeschermd worden met authenticatie. Controleer bij publicatie expliciet of instellingen voor indexatie correct staan op het productiedomein. Een gedeeld configuratiebestand kan anders onbedoeld een blokkade meenemen. Maak deze controle herkenbaar in de publicatieprocedure, inclusief een uitgelogde controle van een dienst, project en kennisartikel.

Beoordeel wijzigingen per URL-groep

Een brede regel voor een map kan veel meer raken dan verwacht. Inventariseer welke routes eronder vallen en controleer representatieve voorbeelden. Bewaar de reden voor iedere regel, zodat een latere beheerder weet waarom deze bestaat. Verwijder blokkades niet op goed geluk: eerst moet duidelijk zijn welke inhoud daarmee bereikbaar of indexeerbaar wordt.

Veelgestelde vragen over Robots.txt en noindex: verschillende doelen in

Nee. Gebruik autorisatie en afgeschermde opslag voor vertrouwelijke gegevens. Noindex regelt zoekindexering en is geen toegangsbeveiliging.