✔ Crawler Probleme

[Tommy57]

Hallo,

ich habe Schwierigkeiten dabei, eine ganz bestimmte URL mit cURL auszulesen.

1. Wie machen die das?
2. Wie kann ich das auf meiner Webseite auch machen?
3. Wie kann man das umgehen?

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, "http://www.sothebys.com/en.html");
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $output = curl_exec($ch);
    curl_close($ch);
   
    echo $output;

Gruß, Tommy

 

[Bratkartoffel]

Hi,

was passiert? Was sollte passieren? Gibts Fehlermeldungen?

Grüsse,
BK

 

[Tommy57]

Es erscheint immer eine leere Seite mit der Meldung "Invalid URL"

 

[Bratkartoffel]

Hi,

hast du schon das Loglevel hochgestellt? Gibt es ein PHP-Serverlog wo die Meldungen evtl reinwandern?
https://stackoverflow.com/a/845025/1164913

Grüsse,
BK

 

[Tommy57]

Hi Bratkartoffel,

das Problem sind nicht die Logs. Das Script ist soweit schon korrekt. Ich öffne ja mit cUrl eine fremde Seite. Für gewöhnlich kriege ich den HTML Code der Seite. Bei der besagten URL kriege ich aber statt dessen eine Fehlerseite, die von dem Fremdserver generiert wird. Die erkennen scheinbar den Aufruf des Crawlers. Meine Frage ist nun, woran erkennen die das und wie kann ich sowas nachbauen und wie kann man das umgehen?

Gruß, Tommy

 

[Kalito]

hast du mal den curl über Kommandozeile probiert?

 

[Tommy57]

Nee, nicht mit curl. Ich habe es mit wget probiert. Man kriegt ne Error 400 Meldung.

 

[Kalito]

na probier es mal mit curl

curl -v "http://www.sothebys.com/en.html"

 

[Tommy57]

Hab es getestet. Gleiches Problem. Invalid URL

 

[Kalito]

Kannst du die Seite im Broser aufrufen?
Hab gerade mal die Kollegen von der Technik gefragt. Anscheinend kann man anhand des UserAgent Curl den zugriff verwehren. Probier es mal mit nen anderen userAgent (https://stackoverflow.com/questions...value-or-overcome-the-servers-blocking-curl-r)