nicht angemeldet
Hallo nochmal,
Rät er, indem er den URI einfach nach der TLD "abschneidet"? Oder hängt er einfach bloß ein robots.txt dran?
ich kann nicht so ganz nachvollziehen, was dir unklar erscheint?
Dieser Auszug:
http://www.foo.com/welcome.html http://www.foo.com/robots.txt
http://www.bar.com:8001/ http://www.bar.com:8001/robots.txt
Gut, soweit klar, meine Vermutung bezog sich jedoch hierauf:
http://www.foo.com/german/willkommen.html -> http://www.foo.com/german/robots.txt oder
http://www.foo.com/german/willkommen.html -> http://www.foo.com/robots.txt
Ja, robots.txt muss im Wurzelverzeichnis liegen. Wie verhält sich ein Robot aber nun, wenn er über eine Linkverfolgung direkt in das Verzeichnis http://www.foo.com/german/willkommen.html gelangt? Wähnt er sich im Wurzelverzeichnis oder "rät" er das Wurzelverzeichnis, indem er nach der TLD abschneidet? _Das_ meinte ich mit Raten.
entweder der spider kennt diesen standard, und hält sich dran - oder er tut es nicht.
Ich weiß es beim Googlebot nicht und habe daraufhin lediglich Vermutungen aufgestellt, wie es zu dem von Thomas und dir beschriebenen Verhalten kommen könnte.
Grüße
Torsten