Vaktaal
Wat is robots.txt?
Robots.txt bevat aanwijzingen voor crawlers over welke delen van een website zij mogen opvragen. Het bestand staat aan de domeinroot. Het is geen toegangsbeveiliging voor mensen of ongehoorzame bots.
In de praktijk
Gebruik het om ongewenste crawlgebieden af te bakenen. Controleer na een stagingmigratie dat belangrijke productiepagina’s niet per ongeluk geblokkeerd blijven.
Goed om te weten
Een geblokkeerde URL kan toch bekend zijn en soms in resultaten verschijnen. Gebruik authenticatie voor privé-inhoud en de passende indexeringsinstellingen voor openbare pagina’s.
Verder lezen bij de bron: officiële achtergrondinformatie
Een passende volgende stap
Wil je dit toepassen?
Bekijk de bijbehorende dienst of bespreek jouw situatie met ons team. Eerst kennismaken, daarna een helder voorstel.