Links auf Dateien fremder Server

[wahsaga]

hi,

man kann googlebots aussperren(zumindest veröffentlicht google das dann nicht), aber wenn man jeden bot aussperren wollte, wäre das unmöglich.

Warum?
* als Angabe für den User-agent ist laut Spezifikation (sofern man hier von einer solchen reden kann) erlaubt.

Insofern ist die aktuelle robots.txt(was darf nicht)-Pflicht des Webmasters genau der falsche Weg. Es kann nur einen logisch vernünftigen Weg geben: robots.txt (du darfst hier rein, alle anderen raus!).

Um ständig Einträge für neue Spider nachtragen zu müssen, die in Zukunft relvant werden und erwünscht sein könnten?

gruß,
wahsaga