nicht angemeldet
ich habe aus den Beiträgen gelernt, dass ich gar kein disallow verwende. den böswilligen bots möchte ich nicht auch noch Tipps geben, wie sie gezielt suchen könnten.
Meines Erachtens interessieren sich Bots eher nicht so für die robots.txt, das machen echte Menschen.
Dein Erachten in allen Ehren aber es ist falsch. Ich habe an einer anderen Stelle nicht umsonst empfohlen, den Dialog mit Google zu suchen, das wäre auch mal was für Dich!
In den Webmastertools erfährst Du nämlich sehr viel über die Arbeitsweise einer Suchmaschine und selbstverständlich auch Einiges darüber wie eine Suchmaschine mit der robots.txt umgeht und wie sich das auf die Indizierung auswirkt.
Eine ordentlich konfigurierte robots.txt gehört ganz einfach zur Qualitätssicherung eines ordentlichen Webprojekts.
MfG
Matthias Apsel
Tabellenkalk