nicht angemeldet
hi,
Hm, das könnte bereits der Knackpunkt sein, denn wenn der Googlebot über eine Linkverfolgung direkt in dein Unterverzeichnis gecrawlt ist, kann er meine ich ja gar nicht die robots.txt im darüber liegenden Verzeichnis einlesen, sondern nur nach dieser Datei im verlinkten Verzeichnis suchen.
es ist festgelegt, dass sich die robots.txt immer direkt im web root der domain befindet, also über http://www.domain.example/robots.txt abrufbar ist.
robots.txt in einzelnen unterverzeichnissen ist demnach per se ein zweckloses unterfangen.
auch bei einer direkt verlinkten datei in unterverzeichnisxy _weiss_ ein robot, der sich an den standard hält also trotzdem, dass er im webroot der site nach der robots.txt zu suchen hat.
gruss,
wahsaga