Frage zu robots.txt und sitemap

[NetLook]

Mhh...
Also, das es nicht erlaubt ist, weil evtl. was unschönes auf den Seiten zu finden wäre kann ich nachvollziehen, aber wo sollte sonst das Problem liegen? Ich erwähne eine Internetseite ausversehen, andere machen das sogar mit Absicht, was soll daran unrecht sein?