Seiten per .htaccess für den Googlebot sperren

[Robert B.]

Moin,

meiner Erfahrung nach hält sich Google an die robots.txt. Allerdings hinderst du damit - oder per .htaccess - den Bot nur, deine Seiten zu crawlen, im Index bleiben sie trotzdem. Ich weiß jetzt allerdings nicht, ob für "ewig" oder ob sie dann doch nach einiger Zeit verschwinden.

Ich habe soeben die Probe aufs Exempel mit Google, Yippy und Bing gemacht: Alle drei beachten die robots.txt und Änderungen daran. Ich habe vor kurzem Seiten per Bitte (robots.txt ist nur eine Bitte an den Bot) von der Indizierung ausschließen lassen und zumindest die genannten Suchmaschinen respektieren dies. Die Seiten werden bei einer Suche nur noch über den Titel gefunden, aber nicht mehr über den Inhalt.

Viele Grüße,
Robert