Wie arbeiten Webcrawler genau?

ComFreek

Mod | @comfreek
Moderator
Hallo an alle!

mich würde interessieren wie Webcrawler genau arbeiten. Ich weiß, dass diese den Hyperlinks folgen, aber irgendwo müssen sie ja auch angefangen haben.
Und was ist mit den Websites, auf die keine andere Website verlinkt?
Gibt es da eine Liste, in der alle Domains eingetragen sind?

Vielen Dank im Voraus!
 

sheel

I love Asm
was ist mit den Websites, auf die keine andere Website verlinkt?
Google bietet die Möglichkeit, manuell Seiten einzutragen; andere Suchmaschinen sicher auch.

Gibt es da eine Liste, in der alle Domains eingetragen sind?
Die Denic und Vergleichbare im Rest der Welt müssen das ja haben...aber wie schauts da mit dem Datenschutz aus?
Außerdem nimmt Google auch gerne IPs, muss nicht unbedingt eine Domain sein.

irgendwo müssen sie ja auch angefangen haben.
Das System wird nicht anders gewesen sein als heute.
Jemand kann sich manuell eintragen und die Links werden automatisch weiterdurchsucht.
 

ComFreek

Mod | @comfreek
Moderator
sheel, erstmal Danke für deine Antwort.

Ich will eigentlich keine Seite eintragen, nur mal wissen, wie das so funktioniert und ob ich vielleicht auch eine kleine Suchmaschine bauen könnte (natürlich Just For Fun!).