Spamcrawler wegkicken

T

tschlack

Guest
Hallo,
ich hab nun in der Firewall etliche Asia-Crawler gesperrt.
Allerdings ist dies viel zu umständlich . Gibt es irgendwie irgendwo eine Möglichkeit die Crawler in den Griff zu bekommen ? Danke !
robots.txt bringt hier nichts den die Crawler wo ich meine richten sich nicht nach regeln.
 
Kannst du dir nicht über IPTables eine Regel schreiben, die automatisch sperrt wenn zu schnell hintereinander (so schnell wie ein normaler Mensch nicht klicken würde) gesperrt werden.
 
Crawlertrap für Plesk

Ich habe jetzt 100 IP-Adress-Bereiche alle von Hand eingepflegt. Also alles was aus China kommt hab ich schon mal glücklich entfernt. Aber bald kommt ja dann ein anderer vorbei und die Scheisse geht weiter.
Hier gibt es bestimmt schon ein paar die hierfür eine gute Lösung haben. Vielleicht gibt es sowas wie eine Crawlertrap die ich schon auf dem Server einrichten kann so das hier kein unnötiger Traffic und Belastung des Servers entsteht
 
Genau so etwas ist das was ich meine...
Allerdings würde ich das Gerne auf dem Server haben und nicht in jedem Projekt einzeln installieren wollen, so das der Crawler für alle Projekte und für jeden neuen Kunden und neues Projekt als default aktiviert ist.
Vielleicht gibt es ja eine Möglichkeit an die ich jetzt nicht gedacht habe.
Somit bekommt man die Serverlast schneller in den Griff, da unnütziger Traffic gekillt wird.
 
You must log in or register to reply here.
Back
Top