Suchmaschinen aussperren?!

[Dkl764]

Hallo Community,
ich möchte alle Suchmaschinen (Spider, Crawler, wie auch immer...) von einigen Verzeichnissen ausperren. Die anderen Dateien und Seiten dürfen jedoch alle noch "gescannt" werden.

Momentan sieht meine robots.txt so aus:

User-agent: *
Disallow: /cgi-bin/
Disallow: /acp/
Disallow: /cronjobs/

Ist das richtig so oder werden dadurch auch alle anderen Verzeichnisse gesperrt?


- Duellking -

 

[TS-JC]

Sorry wenn ich mecker... aber:

Google -> "robots.txt" -> 1. Ergebnis -> halbe Seite scrollen

Wenn man mit einem Mal alle Crawler ausschließen will, benutzt man den sog. Wildchar *, also:

# Alle Robots ausschließen
User-agent: *
Disallow: /temp/

Sollte helfen