Hallo an alle!

mich würde interessieren wie Webcrawler genau arbeiten. Ich weiß, dass diese den Hyperlinks folgen, aber irgendwo müssen sie ja auch angefangen haben.
Und was ist mit den Websites, auf die keine andere Website verlinkt?
Gibt es da eine Liste, in der alle Domains eingetragen sind?

Vielen Dank im Voraus!

Zitat von ComFreek

was ist mit den Websites, auf die keine andere Website verlinkt?

Google bietet die Möglichkeit, manuell Seiten einzutragen; andere Suchmaschinen sicher auch.

Zitat von ComFreek

Gibt es da eine Liste, in der alle Domains eingetragen sind?

Die Denic und Vergleichbare im Rest der Welt müssen das ja haben...aber wie schauts da mit dem Datenschutz aus?
Außerdem nimmt Google auch gerne IPs, muss nicht unbedingt eine Domain sein.

Zitat von ComFreek

irgendwo müssen sie ja auch angefangen haben.

Das System wird nicht anders gewesen sein als heute.
Jemand kann sich manuell eintragen und die Links werden automatisch weiterdurchsucht.

sheel, erstmal Danke für deine Antwort.

Ich will eigentlich keine Seite eintragen, nur mal wissen, wie das so funktioniert und ob ich vielleicht auch eine kleine Suchmaschine bauen könnte (natürlich Just For Fun!).