Seiten über robots.txt sperren

[Mitleser]

Idealerweise wird die robots.txt auch nicht von Hand bearbeitet sondern bei Abruf dynamisch erstellt anhand der aktuellen Konfiguration für die gesamte Site (Projektverwaltung). So wird ja in der Konfiguration festgelegt ob für den Abruf einer Seite Credentials erforderlich sind und nicht in der robots.txt

Ganz schön viel Aufwand für m.E. sehr geringen Erlös. Außerdem zwingt man die URL-Struktur dann in ein bestimmtes Schema, damit man bei z.B. mehreren tauschend geschützten Ressourcen nicht eine sehr fette robots.txt erzeugen / ausliefern muss.