Seiten über robots.txt sperren

[Christian Kruse]

Hallo Mitleser,

Warum sollte man dem Bot für Ressourcen die Indizierung via robots.txt untersagen, wenn die Antwort HTTP 401 lautet? Der Sinn hinter Deiner dahingehenden Empfehlung erschließt sich mir nicht.

Es geht wohl hauptsächlich darum, dass er gar nicht erst fragt. Macht ja auch Sinn, spart Traffic und verkürzt das Log.

LG,
CK