nicht angemeldet
Genau. Meine Aussage beruht uebrigens auf eigener Erfahrung.
Ich hatte ein Unterverzeichnis in der robots.txt "gesperrt".
Google ging trotzdem rein, sah, dass ich das META-Tag
<META NAME="ROBOTS" CONTENT="INDEX, FOLLOW">
drin hatte, und indizierte die Seiten.
habe ähnliche erfahrungen auch gemacht.
Ich muss nochmal widersprechen. Nach den Einträgen in meiner Log-File geht der Googlebot nicht in gesperrten Unterverzeichnissen gucken, kann also dort auch keine Meta-Tags auslesen. Interessant in diesem Zusammenhang ist, dass der Googlebot manchmal erst nach bereits indizierten Seiten sucht und danach erst die robots.txt abfragt (erkennbar an der Reihenfolge meiner Logdateieinträge). Dies könnte eine mögliche Erklärung für das von euch beschriebene Phänomen sein.
Weitere Informationen gibt es hier nachzulesen:
http://www.google.de/webmasters/guidelines.html
http://www.google.de/webmasters/3.html#B3 ff.
Torsten