Seiten über robots.txt sperren

[Mitleser]

Ein Bot folgt also jedem Link, es sei denn die Datei robots.txt sieht das nicht vor, also auch Links zu Inhalten die er gar nicht indizieren kann weil sie ein Passwort brauchen. Letzteres kann er aber erst feststellen, wenn er die Seite aufgerufen hat. Im Übrigen stellt das ein Bot anhand des HTTP Status fest, allein der Status 401 heißt für den Bot, daß die Seite nicht indizierbar ist.

Warum sollte man dem Bot für Ressourcen die Indizierung via robots.txt untersagen, wenn die Antwort HTTP 401 lautet? Der Sinn hinter Deiner dahingehenden Empfehlung erschließt sich mir nicht.