robots.txt - Verfolgung von weiterführenden Links?

[Cheatah]

Hi,

Google hat bspw. mein Impressum in seinem Index [1]

kann dies aus einer früheren Zeit stammen, zu der die robots.txt noch keine entsprechende Angabe enthielt?

obwohl ihm per robots.txt per Disallow "untersagt" wurde, diese Ressource - ja, was jetzt, zu besuchen, oder zu indizieren?

Zunächst einmal zu besuchen. Ich möchte hieraus auch ein Verbot der Indizierung ableiten, da meiner Ansicht nach die Suchmaschine hierzu Kenntnisse über den Inhalt haben müsste, die sie wegen des Besuchverbots nicht haben kann. Möglicherweise reicht der Suchmaschine aber auch das, was es aus den Links erfährt, die auf die Seite gehen?

Cheatah