ist .htaccess auch ein indexschutz durch robots?

[Michael Schröpl]

Hi Sven,

Bei per .htaccess geschützten Verzeichnissen liefert der Webserver erst dann HTML aus, wenn die Authentifizerung erfolgt ist - Robots können also die darin enthaltenen (HTML-) dateien nicht auslesen und somit auch nicht indizieren.

das kommt darauf an, wie der Robot arbeitet ... mein Robot, der meine eigene Site für meine lokale Suchmaschine indext, greift natürlich nicht via HTTP auf die entsprechenden Dateien zu, sondern über Pfadnamen, und kann deshalb alles ansprechen.

Aber im Prinzip hast Du schon recht: Ein Robot ist für den Server von einem Browser nicht zu unterscheiden - beide sind HTTP UserAgents.

Viele Grüße
      Michael