Liste aller "bösen Bots"

[kölir]

hallo

gibt'S eigentlcih irgendwo eine liste von bösen robots welche die mailadressen für spam klauen oder inhalt kopieren?

dann könnte man dei nämlich in seine robots text übernehmen

oder gibt's irgendwelche besseren möglichkeiten oder braucht man sowas nicht?

mfg

[Sven Rautenberg]

Moin!

gibt'S eigentlcih irgendwo eine liste von bösen robots welche die mailadressen für spam klauen oder inhalt kopieren?

Ich denke nicht, dass es sowas gibt. Mindestens nicht vollständig.

dann könnte man dei nämlich in seine robots text übernehmen

Wozu? Böse Bots ignorieren die robots.txt. Und lassen sich an ihrer User-Agent-Kennzeichnung auch nicht wirklich erkennen, denn das einfachste, was man zur Tarnung nehmen kann, sind die Strings von real existierenden Browsern.

oder gibt's irgendwelche besseren möglichkeiten oder braucht man sowas nicht?

Deine Idee ist zumindest ziemlich naiv. Erläutere, welches Problem du konkret hast, oder suche mal im Archiv nach den diversen dort bereits gesammelten Vorschlägen gegen Spam und Bots.

- Sven Rautenberg

[Alex]

Hallo,
um meine Seite etwas vor Spam-Bots zu schützen habe ich eine .htaccess Datei genommen und darin ein paar RewriteRules definiert. Folgende Regeln habe ich irgendwo (vielleicht im Archiv?) gefunden:

  
RewriteEngine on  
# Spambots nach User_agent aussperren  
  
RewriteCond %{HTTP_USER_AGENT} ^.*Whacker.*$ [OR]  
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]  
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]  
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]  
RewriteCond %{HTTP_USER_AGENT} ^.*FileHound.*$ [OR]  
RewriteCond %{HTTP_USER_AGENT} ^.*TurnitinBot.*$ [OR]  
RewriteCond %{HTTP_USER_AGENT} ^.*JoBo.*$ [OR]  
RewriteCond %{HTTP_USER_AGENT} ^.*adressendeutschland.*$  
RewriteRule ^.* - [F]  

Das Ergebnis ist allerdings nicht perfekt. Nach ca. einem Jahr Uptime der Seite bekomme ich von 2 Adressen regelmäßig Spam. Bei einer älteren Seite von mir hatte ich erheblich mehr Spam, allerdings hatte diese Seite auch ein viel besseres Google-Ranking.
Gegen "richtige" Spam-Bots die irgendeinen Standart-User Agent nutzen, hilft das natürlich auch nicht wirklich.
Schaden tun die RewriteRules aber sicher auf keinen Fall.
Das einzige was meiner Meinung nach wirklich was nützt ist alle E-Mailadressen auf der Seite via Java-Script zu verschleiern. Meines Wissens nach gibt es noch keine Spam-Bots die Java-Script interpretieren können. Bitte korrigiert mich wenn ich nicht mehr uptodate bin.
Grüße
Alex

[Ingo Turski]

Hi,

RewriteCond %{HTTP_USER_AGENT} ^.*Whacker.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*FileHound.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*TurnitinBot.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*JoBo.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*adressendeutschland.*$
RewriteRule ^.* - [F]

Keine dieser UAs sind mir in meinen Logfiles je aufgefallen.

freundliche Grüße
Ingo