Guten Tag!
Ich verwende eine robots.txt, um dem Crawler einige Dateien zum indexieren zu verbieten.
In der index.html habe ich folgende Anweisung:
Die robots.txt sieht so aus:
Trotzdem werden alle Links mit out.php indexiert. Was mache ich falsch?
Ich verwende eine robots.txt, um dem Crawler einige Dateien zum indexieren zu verbieten.
In der index.html habe ich folgende Anweisung:
HTML:
<meta name="siteinfo" content="include/robots.txt">
Die robots.txt sieht so aus:
HTML:
User-agent: *
Disallow: /out.php
Trotzdem werden alle Links mit out.php indexiert. Was mache ich falsch?