Verzeichnis durchsuchen (Spider)

[ExAByte]

Hallo zusammen,

ich habe ein vergelichsweise großes Programm in PHP geschrieben, dessen "i-Tüpfelchen" das Durchsuchen der eigenen HP werden soll. Wie kann ich meinem Programm beibringen, ein Verzeichnis zu verfolgen ab dem Document-Root und alle Seiten in HTML oder PHP nach Metatags (oder Titel) zu indexieren.

Ich habe das gesamte Programm selbst und alleine geschrieben und ich will mich nun nicht von 3. Anbietern abhängig machen indem ich ein Modul einkaufen muss, nach 8 Monaten Programmierung hängt man daran ;-)

Wenn jemand einen Hinweis oder eine Idee hat, ruhig auch zum Quellcode "schuppern", dann bitte ich hier um eine Antwort...

Greetings ExAByte

 

[René Paschold]

Als Gedankenanstoß

// Unter Windoof
function list_dir($dirname)
{
	if($dirname[strlen($dirname)-1]!='\\')
		$dirname.='\\';
	static $result_array=array();  
	$handle=opendir($dirname);
	while ($file = readdir($handle))
	{
		if($file=='.'||$file=='..')
			continue;
		if(is_dir($dirname.$file))
			list_dir($dirname.$file.'\\'); 
		else
			$result_array[]=$dirname.$file;
	}	
	closedir($handle);
	return $result_array;
	
}