sinnvoll ist es z.B., Seiten die ein Passwort erfordern da einzutragen.
Warum denn das?
Weil die ohne Passwort keinen Inhalt rausrücken der indexiert werden könnte.
robots.txt also:
- Seiten die nicht indexiert werden sollen
und
- Seiten die nicht indexiert werden können.
MfG