nicht angemeldet
Moin Thomas,
Er folgte einem Link (uebrigens von hier - ich hatte ein CSS-Problem) direkt
auf eine Seite in diesem Verzeichnis, das er eigentlich (gemaess robots.txt)
haette ausser Acht lassen sollen.
Hm, das könnte bereits der Knackpunkt sein, denn wenn der Googlebot über eine Linkverfolgung direkt in dein Unterverzeichnis gecrawlt ist, kann er meine ich ja gar nicht die robots.txt im darüber liegenden Verzeichnis einlesen, sondern nur nach dieser Datei im verlinkten Verzeichnis suchen. Gibt es keine, indiziert er das Unterverzeichnis. Im übrigen hält sich Google leider sehr bedeckt mit Auskünften über die Konkurrenz zwischen robots.txt und den Meta-Tags.
Torsten