nicht angemeldet
BOTS aussperren
Hallo zusammen,
ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.
Ich denke der Reguläüre ausdruck mit dem User-Agent stimmt nicht.
Kann mir da jemand helfen?
SetEnvIfNoCase User-Agent "^MJ12bot(.*)" stay_out
SetEnvIfNoCase User-Agent "Googlebot" stay_out
SetEnvIfNoCase User-Agent "Slurp" stay_out
<Location />
Order Allow,Deny
Deny from env=stay_out
Allow from all
</Location>
Lieben Gruß Jan
-
Hi,
ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren, leider ohne Erfolg, sie tauchen immer wieder in den Logfiles auf.
Leg einfach eine robots.txt an, mit diesen Bots der Zugriff generell (also bereits auf Rootebene) verboten wird.
Gute Bots (also genannte) halten sich daran). Wenn sich böse Bots nicht daran halten wollen, kannst Du mit der Abfrage des UAs auch nichts verhindern.
Gruß, Cybaer
--
Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)-
Hi,
kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
Danke und Gruß Jan
-
kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
-
Hi,
kann ich denn eine "globale" robots.txt anlegen, oder muss ich die für jedes Web in den HTML-Ordner legen?
Für jede Website einmalig in die Document-Root-Ebene.
Oder natürlich einmalig und einfach überall als Link anlegen.
Oder natürlich einmalig und dessen Inhalt beim HTTP-Zugriff ausgeben lassen (mod_alias oder mod_rewrite)
Gruß, Cybaer
--
Man kann doch sehr leicht jenen tugendhaften Menschen begegnen, (...) die eine Art "unkrümmbaren Zeigefinger" besitzen, der ständig den kalten Wind des Rechthabens ausströmt. (Wolfgang Huber, Bischof)
Die Tugend jagt nicht den Teufel, sondern den Sündhaften. Damit wird sie zum Terror. (Hans-Ulrich Jörges, Journalist)
-
-
-
Moin!
ich versuche mit folgenden Einträgen in der httpd.conf diese Bots auszusperren
Gegen was soll das denn helfen?
- Sven Rautenberg
--
"Love your nation - respect the others."