Hallo robertroth,
Dazu müssten sie ja zumindest danach suchen. Wenn ich so in unsere Logs gucke, dann tummeln sich da so zwischen 30 und 50 sogenannte Suchmaschinen, aber nur zwei davon gucken überhaupt nach der robots.txt.
es gibt so viele Suchmaschinen? :O OK, von diesen 30 - 50 sind vielleicht 3 - 5 wirklich bekannt? Mir fallen derzeit nur Google, Bing, Yahoo, Lycos und Fireball (war meine erste Suchmaschine die ich überhaupt kannte und die damals sehr bekannt war) ein.