crawler

Angeblich soll der DuckDuckGo Robot exitieren, um Ergebnisse zu crawlen, ich sehe aber immer nur den UA "Mozilla/5.0 (compatible; DuckDuckGo-Favicons-Bot/1.0; +http://duckduckgo.com)" im access logs, der nach Favicons sucht.

Hallo zusammen, ich bemühe mich derzeit darum, meinen kleinen vServer zu verschlanken und zu entlasten – und, im nächsten Schritt, vor ungewünschten Crawlern, Robots, Harvestern und ähnlichem Digitalgesocks zu befreien. Die technischen Möglichkeiten dafür sind mir bekannt - und auch bereits...

Hallo, ich hab nun in der Firewall etliche Asia-Crawler gesperrt. Allerdings ist dies viel zu umständlich . Gibt es irgendwie irgendwo eine Möglichkeit die Crawler in den Griff zu bekommen ? Danke ! robots.txt bringt hier nichts den die Crawler wo ich meine richten sich nicht nach regeln.