Suchmaschinen-Robots

[Michael Schröpl]

Hi Orlando,

Der Robot sieht nach, ob es in robots.txt eine Regel gibt, die für
ihn gilt. Entweder er hält sich daran, oder nicht. Wie der Robot
heißt, ist letztlich egal, da er selbst bestimmt, was er sehen will.

naja, ein Apache könnte einen Robot, dessen UserAgent es erkennt,
durchaus nachdrücklich zur Einhaltung der Regeln anhalten:

1. mod_setEnvIf -> bedingtes Setzen     einer Environment-Variable
2. mod_access   -> bedingtes "deny" auf diese Environment-Variable

Und fertig ist das Robots-Ausschlußverfahren.

Viele Grüße
      Michael