Spider serverweit sperren

[Excalibur]

Huhu liebe Community,

ich nutze den Apache2 und wollte fragen gibt es eine Möglichkeit einen Spider (der mich schon länger nervt) komplett zu sperren.

Also das egal welche Seite die auf dem Server ist den Spider/Bot sperrt??

Der Spider heißt Yandex.

Hab dazu leider nichts gefunden.

Hoffe mir kann jemand helfen.

mFg
Exi

 

[XioniX]

Möglichkeit a) IP sperren in der apache config oder direkt für den ganzen Server.
Möglichkeit b) per mod-rewrite in der Serverconfig des Apache eine entsprechende Regel einpflegen.

Nähere Infos zum Bot: google(Botname), erster Treffer.

 

[Whistler]

Was spricht gegen die offizielle Methode?

 

[andreas0]

Hallo Excalibur,

Suchmaschinen kann man zum Beispiel mit Hilfe von Apache wie folgt wirkungsvoll aussperren:

# Suchmaschine aussperren
#########################
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Googlebot
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_USER_AGENT} Googlebot/2.1
RewriteRule ^.*$ - [F]
RewriteCond %{HTTP_USER_AGENT} Google-Sitemaps/1.0
RewriteRule ^.*$ - [F]

Für Google, die hier nur als Platzhalter eingesetzt wurde, müsste dann nur die eigentliche Suchmaschine eingetragen werden.

Die dafür benötigten Strings bzw. Zeichenfolgen kann man sich aus dem Apache-Log herausnehmen.

Gruß
andreas0

 

[Excalibur]

@Whistler: Ich hätte sie gerne komplett weg vom Server und nicht nur hoffen das die auf die robots.txt achten. Weil es gibt 2 verschiedene Yandex ein der gut ist und einer der böse ist, siehe hier: http://www.user-agents.de/suche.php?suche=yandex

Vielen lieben Dank für die Antworten

Nun noch eine Frage ich nutze Plesk, wo pack ich die Sperre am besten rein?
Muss ja glaub ich in die Config der Seiten ?!