Hallo zusammen!

Ich suche eine Liste mit den Namen der Agents (wie sich die einzelnen Crawler/Search-Bots ausgeben) damit ich denen eine optimierte Seite (ohne Bilder etc.) liefern kann wenn sich ein Bot auf meine Seite verirrt. Außerdem will ich vermeiden, dass diese im Besuchercounter auftauchen.

Hat da jemand was?

Bisher selbst "entlarvte" Robots:

Code :

1 2 3 4 5 6

msnbot-media/1.1 (+http://search.msn.com/msnbot.htm) msnbot/1.1 (+http://search.msn.com/msnbot.htm) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Yanga WorldSearch Bot v1.1/beta (http://www.yanga.co.uk/)

(einige davon sind mir auch komplett neu...)

Mit der Zeit werde ich sicher was gesammelt haben.
Aber ich bin doch nicht der einzige der sowas schonmal gemacht hat, oder?

lg

RobotsTXT.org

Sonst fällt mir keine größere Datenbank dafür mehr ein.

Nur so als Hinweis: Suchmaschinen mögen es nicht, wenn man ihnen anderen Inhalt liefert als normalen Besuchern, du riskierst damit, aus dem Index entfernt zu Werden.

Zum Thema
Wenn du dir Awstats herunterlädtst, findest du darin eine Datei namens "robots.pm"

Diese enthält reguläre Ausdrücke, an denen du robots erkennst

Wie genau wollen die das denn rausbekommen ob die anderen Inhalt bekommen?
Glaube nicht das sich da eine Masse von Mitarbeitern hinsetzt und den Inhalt den die Suchmaschine bekommen hat mit dem von normalen Browsern vergleicht

Weiß auch noch nicht ob ich das mit dem anderen Inhalt umsetze.
Aber mir gehts erstmal darum das die Crawler nicht als Besucher im Couter auftauchen!
Die verfälschen das Ergebnis total...

lg

Zitat von Klein0r

Wie genau wollen die das denn rausbekommen ob die anderen Inhalt bekommen?

Guckst du hier -> Cloaking Erkennung: Webseitenanalyse

Ansonsten Cloaking -> http://de.wikipedia.org/wiki/Cloaking

mfg Maik

Hey danke wieder was gelernt

Bei deinem ersten Link sind auf meiner Homepage sogar alle Bilder schon ausgeblendet... Gut - warum sollte ein Bot die Bilder auch abfragen...

Kennt jemand ein Plugin für FF (oder anderen Browser) mit dem es möglich ist einen anderen Referer zu senden? Würde gerne mal mit den "Augen" eines Crawlers surfen
EDIT >> schon erledigt...

Achso und wie ist der Wikipedia-Satz gemeint:

Weiterhin besitzen die Spider und Browser jeweils eine Art „Footprint“, durch den man beide unabhängig vom UserAgent recht gut unterscheiden kann.

lg

Zitat von Klein0r

Bei deinem ersten Link sind auf meiner Homepage sogar alle Bilder schon ausgeblendet... Gut - warum sollte ein Bot die Bilder auch abfragen...

Wär das nicht bspw. interessant für die Google-Bildersuche?

Kann ja sein das die Adressen gespeichert werden und nen anderer Bot nachher alle Bilder abfragt - keine Ahnung

Aber ich bin ehrlich zu doof... Habe eben Referrer mit Agent verwechselt. Natürlich suche ich eine Liste aller Agent-Namen der Bots!
Wenn man danach sucht findet man gleich viel mehr...

http://www.bots-on-para.de/
http://www.user-agents.org/index.shtml

Das hat man davon wenn man den halben Sonntag programmiert Da wird man langsam ein wenig wirr... Aber ich glaube ihr habt mein Problem schon verstanden :P Zumindest ist es ansonsten wohl keinem aufgefallen?!

Evt kann ein Mod oder Admin das Thema ja auch umbenennen damit andere nicht
verwirrt werden oder das Thema über die Suche leichter gefunden wird Danke und sorry

- fixed by Maik -

lg