nicht angemeldet
Google hat bspw. mein Impressum in seinem Index [1] - obwohl ihm per robots.txt per Disallow "untersagt" wurde, diese Ressource - ja, was jetzt, zu besuchen, oder zu indizieren?
Die robots.txt stellt eine Empfehlung dar, welche Seiten nicht besucht werden sollen. Darüber hinaus hat sie keinen ("bindenden") Einfluß.
...
[1] Wenn ich bspw. explizit nach dem URL der Seite "suche", dann zeigt mir Google diese als ersten Treffer an [2]. Wohlgemerkt ohne weitere Informationen wie bei "normalen" Suchtreffern, also weder den title der Seite, noch einen excerpt - nur darunter noch den Link "ähnliche Seiten".
Diese "unnormalen Suchtreffer" sind/waren* typisches Verhalten bei Seiten (die google "kennt") mit noindex in den matas.
* Irgendwann in den letzten Monaten sind meine Seiten dieser Art aus dem "Index"** verschwunden.
** Ich würde das nicht zum Index zählen, denn diese Seiten sind über normale Suchbegriffe nicht zu finden, nur über die URL bzw. die site-Abfrage.