Frage - Automatisierte Aufrufe u. KI-Roboter ausschliessen.

[Mutti]

Wie regelt ihr den Zugriff für automatisierte Aufrufe bzw. der KI-Roboter auf eure Webseiten?

Danke wieder voraus.

 

[GwenDragon]

1. RewriteCond: und prüfen auf Useragent und loggen und bei mehrfachem Abruf sperren per Fail2Ban
2. RewriteCond: IP-Ranges der Bots gleich sperren
3. RewriteCond: Abruf bestimmter verbotener URI loggen und sperren mit Fail2Ban
4. HTTP-Header X-Robots und HTML-Element meta setzen Name robots und Wert noai,noimageindex,noarchive,noodp
5. robots.txt

Wirklich nutzen werden nur die ersten 3 Punkte ;-)

Und bei gefälschtem User-Agent ist sowieso kein Blumentopf zu gewinnen, also Sperre schwer möglich.
Wenn die KI-Bots über Serverfarmen kommt mit dauernd wechselnden IPs/-Ranges ist sowieso wenig zu machen.

Sicher kann auch RewriteCond mit RewriteRule auf eine interne Seite verweisen, bei der die Inhalte/Bilder/Videos kompletter Nonsense sind, um die KI Müll lernen zu lassen.

Ein bisschen Lesestoff:

Loading…

www.cyberciti.biz

Block the Bots that Feed “AI” Models by Scraping Your Website – Neil Clarke

How to Stop Your Data From Being Used to Train AI

Some companies let you opt out of allowing your content to be used for generative AI. Here’s how to take back (at least a little) control from ChatGPT, Google’s Gemini, and more.

www.wired.com

Loading…

platform.openai.com

Loading…

openai.com

 

[GwenDragon]

Schlimmer finde ich bots, die erst die Seitemap auslesen und dann trotzdem versuchen existente URL in jeder Schreibweise abzurufen. Dummes Bingbot.

Wäre eh nur problematisch, wenn der Traffic zu hoch würde oder die Performance leiden könnte.

 

[Mutti]

Vielen Dank, Gwen.

 

[GwenDragon]

Bei Bedarf hier weiter fragen ;-)

 

[MadMakz]

Der vollständigkeit halber alles schnell an einem Platz

GitHub - healsdata/ai-training-opt-out: Known tags and settings suggested to opt out of having your content used for AI training.

Known tags and settings suggested to opt out of having your content used for AI training. - healsdata/ai-training-opt-out

github.com

 

[Mutti]

Vielen Dank nochmal für eure Antworten.
Habe mich nochmal mit dem Thema beschäftigt.

Frage wäre ob die u.s. Konfiguration zu Problemen führen könnte.

Einmal wird Chat GPT über den USERAGENT (mod_setenvif) ausgeschlossen und gleichzeitig mit (mod_rewrite) über die IP.

Danke wieder voraus.

<IfModule mod_setenvif.c>
   # AusschliessenChatGPT|openai
   SetEnvIfNoCase User-Agent "ChatGPT\|openai" keep_out

   <RequireAll>
      Require all granted
      Require not env=keep_out
   </RequireAll>
</IfModule>

<IfModule mod_rewrite.c>
    RewriteEngine On
    
    # Blockierte IP-Bereiche KI/ChatOpenAI
    ######################################

    RewriteCond %{REMOTE_ADDR} !^xx\.xxx\.xxx\.[0-9]{1,3}$
    RewriteCond %{REMOTE_ADDR} !^xx\.xxx\.xxx\.[0-9]{1,3}$
    RewriteRule ^.* - [F,L]

</IfModule>