Merkwürdiger UA - Würde der bei euch auf der Blacklist landen?

Mutti

Mutti

Member
Hallo zusammen,

ich habe hier einen ganz merkwürdigen UA in den Logs gefunden. :)

Code: 
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0

Würde der bei euch auf der Blacklist kommen?

Danke Voraus.
 
Warum sollte er und was erwartest Du Dir davon?

Zudem - welche Services bietest Du an und welche Nutzergruppe hast Du?
 
Meine Liste an geblockten User-Agents ist recht überschaubar - einige wenige Bots, die die robots.txt ignorieren, stehen drin, aber alles, was halbwegs nach einem normalen Browser aussieht (oder gewollte Bots wie die von Google, Bing und Co. darf zugreifen.
Ansonsten habe ich die Beobachtung gemacht, dass das Sperren eines User-Agents selten was bringt - oft tauchen die IPs dann einfach mit einer anderen Kennung wieder auf. Außerdem würde ich nicht nur anhand eines etwas seltsamen UA sperren, sondern zumindest die IP des Zugriffs mit in die Beurteilung einfließen lassen. (und wahscheinlich eher die IP oder einen IP-Bereich als den UA sperren...)
 
wie oft müsste ein Bot denn die Seite abrufen, damit er gegenüber den regulären Usern den Betrieb stört? Wäre mir noch nie untergekommen... Bots sind eher Grundrauschen und fallen eigentlich nur auf, wenn man sonst keine User hat.
 
Facebook/Meta haben wir vollständig blockiert. Die Crawler verursachten an einem einzigen Tag etwa 35 GB Traffic auf unserem Browsergame-Wiki. Für ein vergleichsweise kleines Projekt war das unverhältnismäßig, sodass wir uns für eine vollständige Sperre entschieden haben. Es hat jetzt nicht den Betrieb gestört, aber so muss das auch nicht sein.
 
Ich habe den geblockt. Auf meinen DokuWikis Kamen so extrem viele Anfragen und der Server hat jeweils eine php-Session-Datei erstellt. Es waren dann so viele, das ich nicht mal mehr das Verzeichnis davon anzeigen konnte und auch rm ging nicht mehr.
Weiss nicht was das soll, aber das Ding hat es sogar geschafft, ein leeres Wiki mehrere Wochen lang permanent zu bombardieren. Sieht aus als würde das permanent prüfen, ob sich was ändert.
 
Gestern Nacht hatte ich wieder so einen interessanten Besucher. :)

Code: 
"Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:24.0) Gecko/20100101 Firefox/24.0 Chrome/80.0.3987.132 Safari/537.36"
 
Wenn die auf deine Webapps einprügeln oder dauernd Content abgreifen, dann sperr halt solche Uralt-Versionen von Chrome oder Firefox aus per Fail2ban aus und gut is.

Sicher könntest du auch mit RewriteCond die UA auseinander nehmen und in mehrfacher Fallunterschidung gefakte blocken. Aber das macht auch viel Regex-Arbeit
 
Es gibt auch Contrntgrabber mit veralteten UAs, die Websites ohne Gnade abgreifen. Beliebt sind Firefox-Versionen von vor über 10 Jahren.
 
You must log in or register to reply here.
Back
Top