Hi,

ich möchte mittels httpWebRequest eine Website parsen. Leider werden teile der Website erst durch Javascript sichtbar.
Im WebResponse sehe ich also leider u.A. nur die Meldung "Sie müssen zuerst Javascript aktivieren".

Da Javascript vom Browser interpretiert wird, befürchte ich fast, dass ich mehr als nur httpWebrequest/Reponse benötige um Javascript auszuführen, oder?

Gibt es vielleicht eine andere Möglichkeit um Scripte auf den Website auszuführen, bevor ich mir den Inhalt der Website hole? Ich sehe momentan nur die Möglichkeit stumpf das Webbrowser-Control zu benutzen. Wovon ich eigentlich ungern gebrauch machen möchte, weil ich dadurch einige Sachen gar nicht machen kann. z.B. parallele Verbindungen zu Websites über Proxies (man kann nur ein Proxy für das Webbrowser-Control per Registry einstellen).

Wäre schön, wenn mir jemand Ratschläge geben könnte.

Man müsste nur rausfinden, wie das serverseitige Skript auf JavaScript prüft - dann könnte man den Aufruf faken. Kannst Du uns die Webseite verraten?

Hab jetzt keine zur Hand. Habs vor einiger Zeit mal getestet und das Problem jetzt wieder aufgegriffen.
Aber selbst wenn ich der Seite vorgaukle, dass Javascript aktiviert ist, werden Javascriptfunktionen gar nicht ausgeführt. Es könnte sein dass wichtige Bestandteile der Webseite nur durch Javascript sichtbar werden. An diese Bestandteile komme ich dann mit normalem HttpWebRequest gar nicht ran.

Edit: Man könnte ja theoretisch den Website-Code per httpWebRequest herunterladen und in ein webbrowsercontrol stecken zum interpretieren. Problem ist nur, beim runterladen der seite, steht schon im quellcode "sie müssen javascript in ihrem browser aktivieren".