Aggressiver Bot aus Singapur

[tomcat8]

Hallo,

Ich betreibe hier eine Website für ein etwas exotisches Hobby;
normalerweise gibts nur ein Dutzend Besucher am Tag.
Das ist eine Datenbank-Anwendung, bei der jeder Klick relativ hohe Last erzeugt, was bei den wenigen (menschlichen) Besuchern kein Problem ist.
Da wundert man sich doch, wenn Matomo plötzlich 100 Besucher aus Singapur meldet!?

Genaueres nachsehen ergibt folgendes Bild:
- Das ist wohl ein Bot, der sich hinter dem UserAgent "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36" versteckt.
- Jeder Zugriff erfolgt mit einer anderen IP-Adresse!? Wie machen die das?
- All diese IP-Adressen stammen von HUAWEI Cloud Singapur.
- robots.txt wird ignoriert.

Meine normale Vorgehensweise ist einen unerwünschten Bot per Iptables auszusperren;
aber mit jedem blockierten IP-Bereich kommt dieser Bot mit einer anderen IP-Adresse!
Wieviele IP-Adressen hat HUAWEI Cloud?
Muss ich das jetzt hinnehmen oder hat jemand eine bessere Idee?

Noch eine Frage:
Vor einiger Zeit hat ich die fail2ban von REJECT auf DROP umgestellt; seit dem habe ich drastisch weniger unerwünschte Zugriffe auf Mail, ssh usw.
Ist das ein Zufall, oder war das doch die erfolgreiche Therapie?

Grüße!

 

[marce]

QnD, wenn der Useragent sonst nicht relevant verwendet wird bei "nicht via IP sperrbar": Useragent direkt am Webserver via .htaccess / mod_rewrite blocken.

 

[GwenDragon]

Liste der IP-Ranges unter ⇒ https://networksdb.io/network/huawei-cloud-singapore
Einfach sperren.

 

[Deleted member 16573]

Willkommen im Internet! Here be Dragons!

Für nachhaltigere Fail2ban-Ergebnisse noch "recidive" - Funktionalität hinzufügen. (schrittweise die Sperrzeiten erhöhen, bei wiederholten Verstössen) oder Network-Blocks umsetzen. (Bsp: Bei x geblockten Adressen/Ereignissen aus einem /24-er das ganze /24-er sperren).

 

[tomcat8]

Liste der IP-Ranges unter ⇒ https://networksdb.io/network/huawei-cloud-singapore
Einfach sperren.

Hurra!
Nach sowas hatte ich gesucht.
13 der 15 Einträge hatte ich schon

 

[GwenDragon]

@tomcat8 Vielleicht helfen auch die Legacy-Datenbanken für geoip, um besser nach IP, Herkunft und ASN sperren zu können.

 

[tomcat8]

@tomcat8 Vielleicht helfen auch die Legacy-Datenbanken für geoip, um besser nach IP, Herkunft und ASN sperren zu können.

Beim meinem "großen" Projekt habe ich MaxMind mit geoipupdate im Einsatz; das setzt aber ein geeignetes Session-Management voraus, und das ist bei dem "kleinen" Projekt nicht implementiert.

 

[Thorsten]

Bytedance und die Huawai Cloud sind schon fast eine Pest. Aber auch andere, wie jüngst etwas, was sich ClaudeBot nennt. Derzeit sperre ich diese via fail2ban / Badbots. Da kommen mit der Zeit aber schon einige tausend einzelne IPs zusammen. Für die Gesamtperformance nicht so wirklich optimal.

Wie seht ihr das, sperrt ihr auch größere und große Netzblöcke wie beispielsweise 111.224.0.0/14 oder die gesamte AWS Infrastruktur (zumindest für HTTP/HTTPS)?

 

[wakko]

Ich blocke recht großzügig. Beispielsweise große Teile von Chinanet, Tencent und 163data.cn. Zuletzt alles von Serverion oder so (Spamhoster aus den Niederlanden).
Aber beim Blocken von AWS bin ich vorsichtig geworden. Von da werden nämlich unter anderem die LetsEncrypt Zertifikate validiert. Wenn man da den falschen Bereich blockt sucht man ziemlich lange warum da beim Zert-Update die Challenges nicht validiert werden.

 

[david191186]

Das ist eine Datenbank-Anwendung, bei der jeder Klick relativ hohe Last erzeugt, was bei den wenigen (menschlichen) Besuchern kein Problem ist.

Das blocken von IP Adressen ist eine Lösung, bekämpft aber nicht die Ursache. Es gibt mit Sicherheit, sehr viele Kniffe, die du optimieren kannst, was deinen Code betrifft.