robots.txt - Verfolgung von weiterführenden Links?

[Günter]

Hallo Cheatah, hallo ChrisB,

widersprechen sich Eure beiden Antworten nicht?!?
Ich hatte es eigentlich auch so im Hinterkopf, dass beispielsweise Google die in der robots.txt genannten Dateien zwar nicht indiziert wohl aber die Links in diesen Dateien weiterverfolgt.
Bin mir jetzt aber nicht sicher :-(

Viele Grüße

Günter

Hi,

»» > Mit Hilfe der robots.txt ist es ja möglich, bestimmte Seiten von der Indexierung auszuschließen. So weit, so gut.
»» > Was passiert aber mit weiterführenden Links auf diesen Seiten??? Ignoriert der Robot (insbesondere der Googlebot) diese dann auch vollständig
»»
»» nein. Er erfährt nichts von ihnen, also kann er sie auch nicht ignorieren.

Google "crawled" auch das, was es nicht *indizieren* soll.

MfG ChrisB