robots.txt - Verfolgung von weiterführenden Links?

[Cheatah]

Hi,

»» kann dies aus einer früheren Zeit stammen, zu der die robots.txt noch keine entsprechende Angabe enthielt?
Nein, ich denke nicht.

hm, das ist merkwürdig. Google scheint bezüglich der robots.txt nicht so brav zu sein, wie ich bisher dachte.

»» Möglicherweise reicht der Suchmaschine aber auch das, was es aus den Links erfährt, die auf die Seite gehen?
Aber deshalb eine Ressource als Suchergebnis aufnehmen, die nicht durchsucht werden soll?

Hey, ich versuche nur die Beobachtung zu erklären. Ich habe nicht behauptet, dass es sinnvoll ist ;-)

Cheatah