nicht angemeldet
Tach,
das kommt drauf an ... Wenn Google auf meine Seiten kommt, dann wird in der Tat meist zuerst /robots.txt angefordert. Aber was ist, wenn Google einem Link auf eine Unterseite (auch noch in enem Unterverzeichnis) folgt?
robots.txt gilt doch für die gesamte Domain, dementsprechend sollte es egal sein, wo der Googlebot sich gerade rumtreibt.
Das heißt: Google fordert tatsächlich zuerst /robots.txt an, bei wiederholten Besuchen jedoch nicht mehr bzw. (wie ich bei meinen Seiten sehe) nur noch innerhalb eines bestimmten Intervalls.
Es wäre ja auch unsinnig die Datei nicht zu cachen.
mfg
Woodfighter