robots.txt

[Auge]

Hallo

»» Es ist für jene (ro)bots für die Katz, die sich nicht an die Vorgaben der robots.txt halten. Die, die es tun, entnehmen der Datei die Information, welche Verzeichnisse sie zu meiden haben. In letzteren Fällen ist es also *nicht* für die Katz, die robots.txt vorzuhalten.
»»
Was nützt es dann, etwas festzulegen, was nur von Teilen (nämlich den "guten") beherzigt wird. Gerade die andern, die möglicherweise die Informationen missbrauchen wollen (denn sonst hielten sie sich ja an Konventionen) sollen aber gebremst werden.

Es wurde mehrfach erwähnt, dass robots.txt weder dazu da, noch dazu fähig ist. Was erwartest du jetzt?

Tschö, Auge