Hallo!
Gibt es denn, in den vom Bot effektiv aufgerufenen Seiten, eine robots.txt? Gibt es Zugriffe auf die robots.txt (Berechtigungen überprüfen, kann der Bot sie überhaupt auslesen?).
Normalerweise hält sich Yahoo an den Standard. Also würde ich doch erst einmal versuchen, die über die dafür vorgesehne Methode zu realisieren:
Ggf. den Delay Wert an deine Bedürfnisse anpassen.
mfG
Thorsten
Gibt es denn, in den vom Bot effektiv aufgerufenen Seiten, eine robots.txt? Gibt es Zugriffe auf die robots.txt (Berechtigungen überprüfen, kann der Bot sie überhaupt auslesen?).
Normalerweise hält sich Yahoo an den Standard. Also würde ich doch erst einmal versuchen, die über die dafür vorgesehne Methode zu realisieren:
Code:
User-Agent: Slurp
Crawl-Delay: 10
mfG
Thorsten