Seiten per .htaccess für den Googlebot sperren

[suit]

indem du REMOTE_ADDR oder HTTP_USER_AGENT entsprechend auswertest.

Was laut einem Forenbeitrag so geht:

RewriteCond %{HTTP_USER_AGENT} ^google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1 (+http://www.google.com/bot.html).*
RewriteRule ^/.* - [forbidden]

Nur, ist das korrekt, aktuell und nicht doppelt gemoppelt?

Nachdem man in der RewriteCond einen Regulären Ausdruck verwenden kann ist das mehr als Redundant, ja.

Fehlen da nicht noch einige Googlebots? (z. B. Mediapartners-Google/2.1) Die Suchergebnisse meiner Recherche haben mich qualitativ nicht überzeugt.

Ja - und was ist mit den "Googlebots" die sich nicht als solcher zeigen sondern getarnt daherkommen um zu prüfen ob du dem Googlebot nicht etwas anderes servierst? Und vor allem, was ist mit anderen Suchmaschinen?

Außerdem, und darauf habe ich noch keine Antwort bekommen: Obige .htaccess gilt für meine gesamte Website. Ich will aber nur eine bestimmte Seite "unsichtbar" (http://domain.de/bestimmte-seite/) machen. Die .htaccess einfach in das Verzeichnis /bestimmte-seite/ legen geht nicht, da nur die index.html gesperrt werden soll, nicht aber http://domain.de/bestimmte-seite/unterseite1.html.

RewriteCond erlaubt neben HTTP_USER_AGENT und REMOTE_ADDR ansich jedes HTTP-Header-Feld - z.B. auch REQUEST_URI.

Trauig.

Also doch nicht so traurig, oder?!

Nein, nicht mehr.

Vielleicht habe ich die Frage falsch gestellt, daher nochmal:

Nein, deine Frage war schon in Ordnung.

Wenn ich alle aktuell bekannten Googlebots von der Webseite http://domain.de/bestimmte-seite/ fernhalten will, wie muss ich dann folgenden Eintrag in der .htaccess, die im Wurzel-Verzeichnis liegt, anpassen?

Diese Frage hingegen ist hingegen Frech, sie impliziert, dass dir jemand anderer die Arbeit abnimmt.