Seiten über robots.txt sperren

[beatovich]

hallo

disallow ist keine Sperre, sondern allenfalls eine Empfehlung,

wobei sich seriöse Bots wohl daran halten.

Was sind seriöse Bots? Und woran genau sollen sie sich halten?