robots.txt

Hallo zusammen, ich bemühe mich derzeit darum, meinen kleinen vServer zu verschlanken und zu entlasten – und, im nächsten Schritt, vor ungewünschten Crawlern, Robots, Harvestern und ähnlichem Digitalgesocks zu befreien. Die technischen Möglichkeiten dafür sind mir bekannt - und auch bereits...