robots.txt - Verfolgung von weiterführenden Links?

[ChrisB]

Hi,

Hi,

Google hat bspw. mein Impressum in seinem Index [1]

kann dies aus einer früheren Zeit stammen, zu der die robots.txt noch keine entsprechende Angabe enthielt?

Nein, ich denke nicht.
Vor der letzten Überarbeitung hiess die Ressource noch anders (und die alte gibt nur einen 404, leitet nicht auf die neue weiter). Und zu dem Zeitpunkt war robots.txt schon ein Thema, das ich gleich mit berücksichtigt habe.

obwohl ihm per robots.txt per Disallow "untersagt" wurde, diese Ressource - ja, was jetzt, zu besuchen, oder zu indizieren?

Zunächst einmal zu besuchen. Ich möchte hieraus auch ein Verbot der Indizierung ableiten, da meiner Ansicht nach die Suchmaschine hierzu Kenntnisse über den Inhalt haben müsste, die sie wegen des Besuchverbots nicht haben kann.

Tja, ich vermute eher, dass Google es sich nicht nehmen lässt, trotzdem "mal nachzuschauen". Eine Indizierung findet ja letztendlich in dem Sinne dann nicht statt, dass keinerlei Inhalte der Seite beim "Suchergebnis" gelistet werden.

Möglicherweise reicht der Suchmaschine aber auch das, was es aus den Links erfährt, die auf die Seite gehen?

Aber deshalb eine Ressource als Suchergebnis aufnehmen, die nicht durchsucht werden soll?

MfG ChrisB