robots.txt - Verfolgung von weiterführenden Links?

[Cheatah]

Hi,

widersprechen sich Eure beiden Antworten nicht?!?

nicht so sehr wie Dein und unser Zitierstil. Bitte zitiere nur das, worauf Du Dich beziehst, und antworte in einer in Mitteleuropa üblichen Leserichtung.

Ich hatte es eigentlich auch so im Hinterkopf, dass beispielsweise Google die in der robots.txt genannten Dateien zwar nicht indiziert wohl aber die Links in diesen Dateien weiterverfolgt.

Dies widerspräche der Vorgabe. In der robots.txt wird "a partial URL that is not to be visited" genannt. Wenn ein Bot die Seite nicht besucht, kann er auch von den darin enthaltenen Links nichts wissen.

Cheatah