Was passiert wenn ich eine Seite in der robots.txt blockiere

ThiKool

Erfahrenes Mitglied
Ich wollte mich nochmal vergewissern ob ich das mit der robots.txt richtig verstanden habe.

Grundsätzlich möchte ich alle Seiten indexieren lassen bis auf alle die per Mod Rewrite unter /test/ liegen:

www.example.com/test/

Diese wird paginiert:

www.example.com/test/1.html
www.example.com/test/2.html
usw.

Auch diese paginierten Seiten sollen nicht in den Index.

Diese einzelnen Seiten enthalten interne Links und es dem Googlebot leichter machen diese hier verlinkten Seiten zu indexieren.

Ist es also richtig die Dateien so auszuschließen und geht der Bot dann trotzdem drüber und hangelt sich durch die aufgeführten Links durch und indexiert die Seiten?:

User-agent: *
Disallow: /downloads-a-z/

Danke euch
 
Zurück