CURL: Bad Gateway obwohl Seite erreichbar

[handschigl]

Hallo,

ich möchte ein Forum bei Foren-City.de retten und habe mir dafür ein Script geschrieben, das die sichtbaren Inhalte kopiert.

Doch leider gibt mir CURL nach der Hälfte aller Themen die Fehlermeldung

Bad Gateway
nginx

zurück...

Hier eine Beispiel-URL bei der mir diese Meldung zurückgegeben wird: http://incognito.foren-city.de/topic,440,-mein-1-quot-auftrag-quot.html

Und hier eine URL, bei der es keine Probleme gibt:
http://incognito.foren-city.de/topic,2,-neues-forum.html

Das komische ist, dass ich im Browser alle URLs ohne Probleme öffnen kann. Wenn ich es mit wget probiere, dann erhalte ich überall die Fehlermeldung

503 Service Temporarily Unavailable

, bei w3m dagegen funktioniert es wieder ohne Probleme...

 

[Joe User]

Man mag dort eben keine Massendownloads und wehrt sich mit primitiven Mitteln dagegen.
Da das Umgehen von Sicherheitsmassnahmen (und wenn sie noch so primitiv sind) in Deutschland den Straftatbestand erfüllt, werden vernünftige Mitleser Dir nicht beim Umgehen dieser Massnahmen helfen.

 

[nicoschubert]

Huhu handschigl,

schon mal mit ein Sleep versucht?

Grüße Nico