Hallo an alle!
mich würde interessieren wie Webcrawler genau arbeiten. Ich weiß, dass diese den Hyperlinks folgen, aber irgendwo müssen sie ja auch angefangen haben.
Und was ist mit den Websites, auf die keine andere Website verlinkt?
Gibt es da eine Liste, in der alle Domains eingetragen sind?
Vielen Dank im Voraus!
mich würde interessieren wie Webcrawler genau arbeiten. Ich weiß, dass diese den Hyperlinks folgen, aber irgendwo müssen sie ja auch angefangen haben.
Und was ist mit den Websites, auf die keine andere Website verlinkt?
Gibt es da eine Liste, in der alle Domains eingetragen sind?
Vielen Dank im Voraus!