nicht angemeldet
Also zum thema robots.txt für was ist der gut,
wenn da trotzdem alle reinschnüffeln?
Ich stelle mir häufig eine ähnliche Frage: Wozu ist ein Tempo-100-Schild gut, wenn trotzdem alle 150 fahren?
Nur weil in Deiner robots.txt irgendwelche disallow-Zeilen drinstehen, heißt das noch lange nicht, daß sich jeder dran hält - aber viele tun es.
Gruß,
soenk.e