Robots.txt uitgelegd
Je gebruikt het om robots weg te houden van pagina's die er niet toe doen, zoals een winkelmandje of interne zoekresultaten.
Pas wel op. Eén verkeerde regel kan je hele site blokkeren. Dat gebeurt vaker dan je denkt, bijvoorbeeld als een testomgeving live wordt gezet met de blokkade er nog in.
