✔ robots.txt wird nicht beachtet

[Sasser]

Guten Tag!

Ich verwende eine robots.txt, um dem Crawler einige Dateien zum indexieren zu verbieten.

In der index.html habe ich folgende Anweisung:

<meta name="siteinfo" content="include/robots.txt">

Die robots.txt sieht so aus:

User-agent: *
Disallow: /out.php

Trotzdem werden alle Links mit out.php indexiert. Was mache ich falsch?

 

[SpiceLab]

robots.txt gehört in das oberste Root-Verzeichnis, wo Bots/Crawler/Robots standardmäßig nach ihr Ausschau halten - siehe Speicherort und Aufbau einer robots.txt.

Der <meta>-Tag zur Pfadangabe ist damit auch überflüssig, weil von denen, die bislang das out.php-Doc gecrawlt u. indiziert haben, geschmeidig ignoriert ;-)

 

[Sasser]

Das heißt, dass der <meta>-Tag nicht beachtet wird und die robots.txt immer im Hauptverzeichnis gesucht wird? Ich hatte dies einmal gefunden, weil ich es schöner fand dass die robots.txt in einem extra Verzeichnis liegt.

 

[SpiceLab]

Das heißt, dass der <meta>-Tag nicht beachtet wird und die robots.txt immer im Hauptverzeichnis gesucht wird?

Jo, sagte ich das nicht bereits?

Meinem Link bist du offensichtlich auch nicht gefolgt, ansonsten hätte dir jetzt diese Nachfrage nicht unter den Nägeln gebrannt:

Die robots.txt muss unter diesem Namen (alle Buchstaben klein geschrieben) im Wurzelverzeichnis der Web-Dateien der Domain abgelegt werden. Wenn Sie also einen Domain-Namen example.org haben, dann muss die robots.txt in dem Verzeichnis abgelegt werden, in dem auch die oberste Einstiegsdatei von www.example.org liegt. Der URI wäre also http://www.example.org/robots.txt. Nur so kann sie von Suchmaschinen-Robots, die das Projekt aufsuchen, gefunden werden.

weil ich es schöner fand dass die robots.txt in einem extra Verzeichnis liegt.

Deinen Sinn für Schönheit folgen, teilen Robots nicht

 

[Sasser]

Doch, ich bin dem Link gefolgt. Ich habe jedoch auch einige Seiten gefunden, laut denen angeblich mit dem o.g. META-Tag auch die robots.txt in andere Verzeichnisse verschoben werden kann.

Ich habe es nun so wie im o.g. Beispiel gemacht. Man sollte sich doch nicht so oft von unoffiziellen Webseiten beeinflussen lassen. Das hätte mich nicht so viel Zeit gekostet.

Vielen Dank für deine Mühe