Yahoo Slurp --> Traffic über 7 TB

Centro

Centro

Der mit dem roten Hut!
Guten Morgen Gemeinde!

Ich habe auf meinem Server eine kleine html Seite drauf auf der ich für ne kleine Linuxgemeinde ISOs zum Downloaden anbiete.
..> Ich will jetzt nix von Mirroring hören sondern eure Erfahrungen etc. ;) -Danke!

Normal hat sich das so bei 100-400GB im Monat eingependelt.

Seit Vorgestern habe ich einen Trafficverbrauch von über 7 Terrabyte! -> Keine Angst ich hab mich nicht verschrieben!

Hab dann mal geguckt wo der "Penner" herkommt der so nen Log erzeugt:
Code: 
74.6.28.163 - - [15/Jul/2007:09:40:20 +0200] "GET / HTTP/1.0" 200 15055 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.27.102 - - [15/Jul/2007:09:41:38 +0200] "GET /index.php?option=com_content&task=view&id=2 HTTP/1.0" 200 9592 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.22.28 - - [15/Jul/2007:09:41:47 +0200] "GET /index.php?option=com_content&task=view&id=6&Itemid=2 HTTP/1.0" 200 11406 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.28.43 - - [15/Jul/2007:09:42:05 +0200] "GET /index.php?option=com_content&task=view&id=11&Itemid=25 HTTP/1.0" 200 10600 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.23.170 - - [15/Jul/2007:09:42:15 +0200] "GET /index.php?option=com_registration&task=lostPassword HTTP/1.0" 200 7588 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.28.210 - - [15/Jul/2007:09:42:35 +0200] "GET /index.php?option=com_content&task=view&id=4 HTTP/1.0" 200 9607 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

aus der Türgeiiiii... ! ----> Na super!

Resultat aus der Slurp Aktion is das hier:
Code: 
189.169.181.225 - - [15/Jul/2007:01:50:10 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
88.198.37.7 - - [15/Jul/2007:01:50:12 +0200] "GET /livewatch.php?key=115e90017553cd6923907d6587f39c9f HTTP/1.0" 200 32 "http://www.livewatch.de" "www.livewatch.de - free servermonitoring"
189.169.181.225 - - [15/Jul/2007:01:50:12 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:50:14 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:50:17 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:50:19 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:50:19 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:50:24 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD1.iso HTTP/1.1" 416 405 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:51:35 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD4.iso HTTP/1.1" 404 1215 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:51:35 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD4.iso HTTP/1.1" 404 1215 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:51:40 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD4.iso HTTP/1.1" 404 1215 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"
189.169.181.225 - - [15/Jul/2007:01:51:43 +0200] "GET /suse10.2/openSUSE-10.2-GM-i386-CD4.iso HTTP/1.1" 404 1215 "http://linuxdownloads.ath.cx/suse.html" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)"

So schon die 3. Abuse losgesandt aber noch null is passiert.
Jetzt bin ich mal über den genauen Inhalt gestolpert: Yahoo Slurp

Für alle die sich dieses total verblödete Project mal ansehen mögen:
Yahoo Slurp

Habt ihr hiermit auch schon probleme gehabt`? --> wäre um jede Erfahrung dankbar!

*rüberwink* zu den Leuten die mich in meiner Newbiezeit immer von hohem Traffic wegen hacking gewarnt haben! :eek: Es geht auch ohne Hacking wie man sieht! :D

Greetz Centro
 
Last edited by a moderator:
Erstelle eine sinnvolle robots.txt und die Sache ist gegessen. Alternativ kannst du die Crawler von Yahoo aussperren. Die IP-Adressen hast du ja mittlerweile.
 
Im übrigen ist das kein "total verblödetes Projekt" sondern ganz normaler Alltag im Internet.
Eben so gut hätte es der Crawler von Google sein können.

Wenn deine Page in Suchmaschinen auftaucht, musst du damit rechnen das noch andere die ISOs von deinem Server ziehen, somit hat also alles seine Richtigkeit.

Ausschließlich du hast dich beim Betrieb eines Mirrors unterschätzt.
7TB ist für einen Mirror ein normaler Wert.
 
Firewire2002 said:
Ausschließlich du hast dich beim Betrieb eines Mirrors unterschätzt.
7TB ist für einen Mirror ein normaler Wert.
Click to expand...

:D Ein normaler Wert! - In 2 Tagen!!! :D

Naja deine Meinung in Ehren, dann muss ich die gut gedachte Absicht wohl löschen! :mad:

Beim nächsten Release von SUSE wirds wieder einen kleinen Mirror für ein paar Monate geben! :D

Danke dir aber für die "Verharmlosung" aber auch Hinweisung!

Is trotzdem ne verblödete Sache! :p - Vor allem wenn alle diese klicks von nem Türkischen Proxy kommen!

Greetz Centro
 
Btw, wenn du die Images nur über Apache verteilst wäre noch mod_cband eine Lösung.

Oder den Zugang zu den Images durch Passwort schützen.
Oder ähnliches ... ;)
 
Firewire2002 said:
Oder den Zugang zu den Images durch Passwort schützen.
Oder ähnliches ... ;)
Click to expand...

Passwort das dann in den Foren weiter gegeben wird? - Bringts auch ned!
Bin damals nur drauf gekommen als ich mir 10.1 bei der Erscheinung ziehen wollte und nix zu machen war als 6KB oder weniger! - Da hab ich mir gedacht es wäre doch ne top Sache um die SUSE Community ein wenig zu unterstützen! ;)
Naja mit 7TB gelte ich dann doch wohl als offizielle Mirror, und das is mir doch ein wenig zu fett! :)

Thanks für die Tips!

Greetz Centro
 
Du hast bei knapp 50 offiziellen Mirrors keinen gefunden, der eine freie Leitung hat. :eek:
Also irgendeiner war bei mir immer frei. ;)

Allein GWDG hat IHMO 7 Mirrors.
Etliche andere TUs in Deutschland haben auch gute Anbindungen.
 
You must log in or register to reply here.
Back
Top