Seiten über robots.txt sperren

[pl]

Warum sollte man dem Bot für Ressourcen die Indizierung via robots.txt untersagen, wenn die Antwort HTTP 401 lautet? Der Sinn hinter Deiner dahingehenden Empfehlung erschließt sich mir nicht.

Es geht wohl hauptsächlich darum, dass er gar nicht erst fragt. Macht ja auch Sinn, spart Traffic und verkürzt das Log.

Das sind zwei Argumente, ok. Kann man machen. Mit der pauschalen Empfehlung, das so zu machen, tue ich mich dennoch schwer. Das sind IMHO vernachlässigbarere Vorteile, erkauft zu dem Preis, sich mit einer eventuell defekten oder zwischenzeitlich überholten Robots-Direktive selbst ins Knie zu schießen.

Idealerweise wird die robots.txt auch nicht von Hand bearbeitet sondern bei Abruf dynamisch erstellt anhand der aktuellen Konfiguration für die gesamte Site (Projektverwaltung). So wird ja in der Konfiguration festgelegt ob für den Abruf einer Seite Credentials erforderlich sind und nicht in der robots.txt

MfG