babbar.tech/crawler: Anfragen von Porn-URLs. WTF?!?

[Deleted member 16573]

Ich habe hier einen Crawler, der den Server mit solchen Anfragen zumüllt. Auch noch nie gesehen ...

Auszug:

...
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:13:04 +0200] "GET /saunaclub-heaven-7-huren-in-osnabruck-nutten-in-itzehoe-nutten-in-bochum.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:13:19 +0200] "GET /nirvana-smells-like-teen-spirit-ubersetzung-erotic-massage-dusseldorf-escort-owl.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:13:35 +0200] "GET /geile-junge-weiber-ficken-massage-erotik-wiesbaden-tabulose-huren-munchen.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:13:50 +0200] "GET /porno-sperma-schlucken-michaela-schafer-titten-erotik-roman-leseprobe.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:14:05 +0200] "GET /oma-ficken-kostenlos-huren-aus-wiesbaden-wwwsex-de-asia-nutten-hannover.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:14:20 +0200] "GET /omas-porno-kostenlos-ab-welchem-alter-darf-man-sex-haben-intimmassage-hamburg.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:14:35 +0200] "GET /miet-mich-nutten-escort-24-erotikmassage-augsburg-long-dong-silver-foto.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:14:51 +0200] "GET /robots.txt HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
www.mysite.org:443 0.0.0.0 - - [04/Jun/2025:15:14:51 +0200] "GET /portugal HTTP/1.1" 200 9465 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
mysite.pt:443 0.0.0.0 - - [04/Jun/2025:15:15:08 +0200] "GET /sex-schwelm-was-ist-bukaki-trans-luciana-xxl-sexkontakte-baden-wurttemberg.html HTTP/1.1" 301 1134 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"
...

Die betreffende IP-Range von babbar.tech ist 217.113.194.0/24

 

[d4f]

Barkrowler folgt in der Regel stur existierenden Links, theoretisch sollten die Links also irgendwo referenziert sein. Natürlich kann jemand einfach auf serversupportforum.de/d4f-ist-der-beste verlinken und der Crawler folgt dem Link stur.

Was ich kurioser finde ist dass dein Webserver auf diese Anfragen mit 302, also "woanders gefunden" antwortet. Aus der Request sieht man nicht wohin es umleitet, das würde ich aber empfehlen zu prüfen. Für Crawler ist diese URL nämlich damit durchaus valide.

 

[Deleted member 16573]

mysite.pt/* geht auf mysite.org/portugal/ - Der Pfad (*) wird dabei verworfen. Unter mysite.org/country/ ist ein Typo3 was Instanzen für viele Länder bereitstellt. Ein Grund dafür war bestimmt, dass die Webseite früher mal auf mysite.pt lief und irgendwann wurden alle Instanzen auf ein zentrales CMS umgestellt.

Sehr hilfreicher Hinweis!

P. S. Kunde will das so.