molily: Wie oft kommt Google vorbei?

Beitrag lesen

Hallo,

Die Forumshauptseite wird übrigens nicht indiziert, falls du das mit »sich durch die Threads lesen« meintest, lediglich das Archiv und die FAQ.

Doch, wird sie. Sie wird nur nicht gecached und die enthaltenen Links werden nicht weiterverfolgt.

Ich meinte auch die Postings, dass / abgefragt wird, habe ich gesehen.
Erstaunlich aber ist es schon, dass der Googlebot die Allow-Regeln wie Links wertet. Trotz nofollow wäre ich mir nicht sicher, ob das Verlinken von /faq/ und /archiv/ auf der Hauptseite nicht doch eine Rolle spielt. Wieso z.B. wird gerade /my/ vom Freshbot abgefragt?

Mathias