Seiten-durchsuch-Bot programmieren?

ms92

Mitglied
Wie programmiert man solche Bots, die Seiten nach bestimmten Inhalten durchsuchen? Also so etwas wie Suchmaschinen Bots oder Spam Bots. Nur so: ich will kein Spam Bot programmieren...
Wie geht man an so etwas ran? Geht das mit PHP?
 
Nur so: PHP ist nicht multithreadingfähig. (Ich weiß allerdings nicht, ob die Erweiterung "php_threads" nur bei mir nicht korrekt funktioniert.)

Benutz Python, Perl oder dergleichen.
 
Prinzip ist folgendes:
Seite wie eine Datei lesen und dann mit preg_match_all() durchsuchen.
Wenn der Suchstring gefunden wurde Ergebnis und Url speichern und zur nächsten Seite.
 
Zurück