Cache-Control: max-age=3 - Öfters refreshen? Json

ahurr

New Member
Hallo hab da mal ne frage,

habe mir ein node.js Programm geschrieben was eine Homepage dauernd (alle 10ms) abfragt, ob es ein neues json gibt.
Da ich aus diesen jsons die zufällig (alle 2-3ms) generiert werden die Informationen brauche und sammel. Immoment kriege ich nur alle 3 Sekunden ein neues json (somit verpasse ich locker 10.000 jsons), bräuchte aber öfters diese Informationen. Ist es möglich die Seite trotz max-age=3s öfters zu aktualisieren mit nicht gecachten jsons. Bis vor 1 Woche hat es noch geklappt das ich einfach die URL erweitern konnte z.b. www.hallo.de?asdf=123
Die 123 wurde dann bei jeder Anfrage neu generiert zu einer anderen Random Zahl und somit konnte ich alle Informationen bekommen. Nun funktioniert dieses aber nicht mehr und der Webseite ist es egal ob man die URL ändert.
Gibt es dort ne Möglichkeit z.b. beim GET Header was zu ändern oder irgendwie der Seite sagen das man immer jemand anderes ist und die Webseite dann denkt "ahh der hat noch nie Daten von uns erhalten"?
Würde mich echt mal interessieren habe schon etliche Foren durchsucht und mehrere Sachen ausprobiert. Vielleicht kennt ihr ja eine Möglichkeit.

Füge hier noch den Header der Webseite hinzu:

Code:
Certificate
HTTP/1.1 200 OK
Server: Apache
Cache-Control: public,max-age=3
Date: Thu, 13 Nov 2014 23:06:11 GMT
Expires: Thu, 13 Nov 2014 23:06:14 GMT
Last-Modified: Thu, 13 Nov 2014 23:06:09 GMT
Content-Encoding: gzip
Vary: Accept-Encoding
Content-Type: application/json; charset=utf-8
Content-Length: 8029
Accept-Ranges: bytes
X-Varnish: 1647162896
Connection: close

Am meisten wundert es mich warum es nicht mehr funktioniert einfach was hinter der URL zu hängen und somit nicht den cache zu kriegen. Was wäre nun eine möglichkeit habt ihr eine Idee das ich öfters anfragen kann und nen neues json bekomme ohne das gecachte zu kriegen?:confused:

liebe grüße
Gustav
 
Da läuft ein Varnish vor der Website. Die haben die URL vermutlich so konfiguriert, dass alle 10ms neuladen nicht mehr möglich ist, da das JSON eventuell sehr daten-intensiv ist?

Hast du denn schonmal versucht, den Websiten-Betreiber zu fragen, ob es möglich ist, eine Push-Stream-API für dein Vorhaben zu bekommen? Solche Dinge brauchen in der Regel sehr viel weniger Resourcen als alle 10ms ein JSON aufzurufen.
 
Alle 10ms? Ich als Serverbetreiber würde Dich ja mit Fackel und Mistgabel durchs Dorf jagen :p
 
Alle 10ms? Das kommt einem DoS gleich und kann Dir rechtliche Probleme bereiten. Da der Seitenbetreiber bereits reagiert hat, indem er Deine Requests ausbremst, hast Du den DoS bereits erreicht und Dich strafbar gemacht. Sollte der Seitenbetreiber Anzeige erstattet haben, wirst Du Post von der zuständigen Staatsanwaltschaft bekommen und Dein aktuelles technisches Problem Dein Kleinstes sein...

Da Du einen DoS fahren (aka eine Straftat begehen) willst, werde ich Dir nicht helfen diesen technisch umzusetzen und rate auch jedem Anderen davon ab.


10ms -- Viel Spass bei schwankenden Latenzen und Routingproblemen...
 
Alle 3-10ms auf dieselbe URI sind schon ziemlich happig. Wenn der Webserverbetreiber die Requests pro Sekunde begrenzt gehts eh nicht.

Hört sich an als versuchtest du etwas in Echtzeit abzufragen, was wegen Laufzeiten im Internet schwer machbar ist.
 
Ihr habt recht 10ms war zu übertrieben sollte nur ein Beispiel sein. Würde halt einfach gerne öfters die Daten sehen sagen wir mindestens jede 0,5sek anstatt nur alle 3. Ich werde mal ein Support schreiben auf der Seite vielen dank
 
Back
Top