nicht angemeldet
Bei Google gelten übrigens -abweichend vom Robots.txt Standard - extra Regelen:
*******************************
Zitat:
Es gibt einen kleinen Unterschied zwischen der Art, wie Googlebot die Datei robots.txt verarbeitet, und der durch den robots.txt-Standard empfohlenen Vorgehensweise (hier ist die Unterscheidung zwischen "empfohlen" und "vorgeschrieben" wichtig). Der Standard empfiehlt, die erste in Frage kommende Regel zu beachten. Googlebot richtet sich jedoch nach der längsten in Frage kommenden Regel (d.h. nach der, die die spezifischsten Informationen enthält). Diese intuitivere Vorgehensweise entspricht dem, was Menschen tatsächlich tun und was sie von uns erwarten. Nehmen wir als Beispiel den folgenden Eintrag in der Datei robots.txt:
User-Agent: *
Allow: /
Disallow: /cgi-bin
Es ist offensichtlich, dass hier den Robots erlaubt werden soll, alles bis auf das Verzeichnis /cgi-bin zu durchlaufen. Das ist dann auch genau das, was unser Robot tut.
*******************************