Microsoft's Suchroboter MSNBot

[Thorsten]

Ab und an kontrolliere ich meine Weblogs genauer. In letzter Zeit fällt mir der MSN Bot immer wieder auf. Dieser hat zwischen dem 1. und 19. Mai 2004 über 35.000 Zugriffe generiert. Dabei wurden 799 MByte an Daten transferiert. Das ist circa drei mal soviel wie Google.

Das Microsoft seine eigene Suchmaschine entwickelt ist ja bekannt. Das ganze scheint mir aber noch nicht ganz ausgereift.

mfG
Thorsten

 

[djrick]

799 MB Traffic könnte kleinen Webhosting-Kunden mit 1 GB Traffic ziemlich den Hals brechen

 

[djrick]

Es hat auch meine Website entdeckt:
Gast - 19. 05. - 2004 21:42:44 - 65.54.164.67 - msnbot64067.search.msn.com

 

[Huschi]

Die msnbot's habe auf meinen Servern noch nicht so viel Traffic erzeugt.
Zwei Domain wurde mit je ca. 1/5 aller Seiten gescannt, bei allen anderen Domains lediglich die Startseite und die robots.txt.

An Bot-IPs konnte ich folgende finden:
65.54.164.64
65.54.164.69
65.54.164.71
65.54.164.72
65.54.164.77
65.54.164.92
65.54.164.93
65.54.164.94
65.54.164.134
65.54.188.50

huschi.

 

[HornOx]

Der MSNBot scheint (anders als googlebot) keine Cookies zu kennen, deswegen benutzt mein Forum(phpbb) als Alternative eine SessionID in der URL und jetzt hat der Bot das Forum mehrfach mit unterschiedlichen SessionIDs durchsucht/indiziert

Das Microsoft seine eigene Suchmaschine entwickelt ist ja bekannt. Das ganze scheint mir aber noch nicht ganz ausgereift.

Was erwartest du einer Software von Microsoft die eine Versionsummer von 0.11 hat, ab msnbot/XP wird alles besser

MSNBot is a prototype crawler. The crawling it does is not necessarily related to the search results found on http://search.msn.com.

Man kann ihn also ohne viel Bedenken aussperren