Es soll aber nicht eine komplette Seite, sondern, wie im Topic genannt, nur Bereiche daraus vor Bots versteckt werden.Es gibt direkt die sogenannte robots.txt, die verhindert, dass deine Seite von Google und anderen Suchmaschinen erfasst wird. Wie du sie verwendest siehst du hier: robotstxt.org/
Wenn du auf der genannten Seite einmal den Text zu Meta-Tags betrachstest siehst du, dass dort auch einzelne HTML-Dateien modifiziert werden können.