nicht angemeldet
Hallo Michael,
die Google-Crawler-Truppe und die Google-Frontend-Gruppe scheinen überhaupt wenig voneinander zu wissen: Das Frontend liefert Seiten gzip-komprimiert aus, aber der Crawler versteht keine komprimierten Seiten ... dabei könnte er selbst viel schneller crawlen, wenn er das täte ...
hm ... sowas ist bedauerlich, wenn diese Details dann nicht hinhauen,
wo die Suchmaschine ja sonst wirklich sehr gut ist. Naja, perfekt
gibt es eben nicht ;-)
So, kurze Prozeß gemacht, Googlebot bekommt hier nix mehr zu essen:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.*
RewriteRule ^.* - [F]
ErrorDocument 403 "<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd"><html><head><title>403 Forbidden</title><meta name="robots" content="noindex"><meta name="robots" content="nofollow"><meta name="robots" content="noarchive"><meta http-equiv="content-type" content="text/html; charset=iso-8859-1"></head><body><h1>403 Forbidden</h1><p>You don't have permission to access any ressource on this server.</p></body></html>
Erstmal nur bei einspender.com und e-webdesign.net, einspender.de
kommt demnächst auch noch dazu, die muß erstmal vom Zwangs-Catch-
All-Webhoster Strato zu 1&1 wechseln.
Viele Grüße,
Stefan