Anita: Seiten per .htaccess für den Googlebot sperren

Beitrag lesen

Meine erste Recherche hat keine entsprechenden Lösungen gebracht.

Dann war diese äußerst schlecht.

Zwar findet Google ein paar Einträge, von denen ich übrigens auch die meisten bereits durchgelesen hatte, eine konkrete Lösung gibt es aber nicht.

Also, ich würde gerne http://domain.de/bestimmte-seite/ für den Googlebot per .htaccess sperren. Wie geht das?

indem du REMOTE_ADDR oder HTTP_USER_AGENT entsprechend auswertest.

Was laut einem Forenbeitrag so geht:

RewriteCond %{HTTP_USER_AGENT} ^google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1 (+http://www.google.com/bot.html).*
RewriteRule ^/.* - [forbidden]

Nur, ist das korrekt, aktuell und nicht doppelt gemoppelt? Fehlen da nicht noch einige Googlebots? (z. B. Mediapartners-Google/2.1) Die Suchergebnisse meiner Recherche haben mich qualitativ nicht überzeugt.

Außerdem, und darauf habe ich noch keine Antwort bekommen: Obige .htaccess gilt für meine gesamte Website. Ich will aber nur eine bestimmte Seite "unsichtbar" (http://domain.de/bestimmte-seite/) machen. Die .htaccess einfach in das Verzeichnis /bestimmte-seite/ legen geht nicht, da nur die index.html gesperrt werden soll, nicht aber http://domain.de/bestimmte-seite/unterseite1.html.

Trauig.

Also doch nicht so traurig, oder?!

Vielleicht habe ich die Frage falsch gestellt, daher nochmal:

Wenn ich alle aktuell bekannten Googlebots von der Webseite http://domain.de/bestimmte-seite/ fernhalten will, wie muss ich dann folgenden Eintrag in der .htaccess, die im Wurzel-Verzeichnis liegt, anpassen?

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^google.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mediapartners-Google/2.1 [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^Googlebot/2.1 (+http://www.google.com/bot.html).*
RewriteRule ^/.* - [forbidden]

Liebe Grüße
Anita