Google konforme Robots.txt

[Sönke Tesch]

Bei Google gelten übrigens -abweichend vom Robots.txt Standard - extra Regelen:

Allow: /
Disallow: /cgi-bin
Es ist offensichtlich, dass hier den Robots erlaubt werden soll, alles bis auf das Verzeichnis /cgi-bin zu durchlaufen. Das ist dann auch genau das, was unser Robot tut.

Na Hurra, "Microsoft, ick hör' dir trappsen" :(

Gruß,
  soenk.e